Et token i dataprogrammering er en sekvens av tegn som gjenkjennes av kompilatoren eller tolken som en enkelt logisk enhet. Tokens brukes til å representere nøkkelord, identifikatorer, operatorer og andre leksikale elementer i et programmeringsspråk.

For eksempel, i programmeringsspråket C, er følgende alle tokens:

* 'int' (søkeord)

* "hoved" (identifikator)

* `=` (operatør)

* `;` (terminator)

Tokens identifiseres vanligvis av en leksikalsk analysator, som er den første fasen av en kompilator eller tolk. Den leksikalske analysatoren leser kildekoden og deler den opp i en serie tokens. Tokenene sendes deretter til parseren, som bruker dem til å bygge et parse-tre for programmet.

Prosessen med tokenisering er avgjørende for korrekt parsing og utførelse av et program. Hvis den leksikale analysatoren ikke identifiserer tokens korrekt, kan kompilatoren eller tolken generere feil eller uventede resultater.

Her er noen ekstra eksempler på tokens på forskjellige programmeringsspråk:

* JavaScript:`var`, `function`, `+`, `-`, `()`, `{}`

* Python:`def`, `class`, `if`, `else`, `for`, `in`

* Java:`public`, `static`, `void`, `int`, `String`, `.`

Tokens er en grunnleggende del av dataprogrammering og spiller en viktig rolle i kompilering og utførelse av programmer.