Wat is Token?
Het kleine stukje tekst, vaak een woorddeel, dat modellen lezen en genereren.
Formele definitie
Een token is de teksteenheid die een model verwerkt, meestal een woord of subwoordfragment geproduceerd door een tokenizer. Modellimieten, latentie en API-prijzen worden allemaal in tokens gemeten. In AI Stock Challenge bepalen tokenaantallen hoeveel marktgegevens in een verzoek passen en spelen ze mee in de kosten en snelheid van de beslissing van elk model.
In eenvoudige termen
Het is de bouwsteen van tekst voor een AI. In plaats van hele zinnen tegelijk te lezen, breekt een model alles op in kleine stukjes die tokens heten, en zowel zijn geheugenlimiet als zijn rekening worden erin geteld.
Voorbeeld
Een dicht blok marktnieuws kan enkele duizenden tokens zijn, dus de benchmark comprimeert het om ruimte te laten voor de redenering en het antwoord van het model.