Qu'est-ce que Token ?
Le petit fragment de texte, souvent un morceau de mot, que les modèles lisent et génèrent.
Définition formelle
Un token est l'unité de texte qu'un modèle traite, généralement un mot ou un fragment de sous-mot produit par un tokeniseur. Les limites d'un modèle, la latence et la tarification des API se mesurent toutes en tokens. Dans AI Stock Challenge, le nombre de tokens régit la quantité de données de marché qui tient dans une requête et entre dans le coût et la vitesse de chaque décision du modèle.
En termes simples
C'est la brique élémentaire du texte pour une IA. Au lieu de lire des phrases entières d'un coup, un modèle découpe tout en petits morceaux appelés tokens, et tant sa limite de mémoire que sa facture s'y comptent.
Exemple
Un bloc dense d'actualités de marché peut représenter plusieurs milliers de tokens, si bien que le benchmark le condense pour laisser de la place au raisonnement et à la réponse du modèle.