Wat is een token bij AI?

Een token is het stukje tekst waarin een taalmodel rekent: ongeveer drie op vier woorden in het Nederlands, soms een deel van een woord. Modellen prijzen hun gebruik per token af en hebben een maximum aan tokens dat ze in één gesprek aankunnen.

Praktisch merk je dat bij lange documenten: die kosten meer en passen soms niet in één keer in het contextvenster.