Che cos'è Token?
Il piccolo frammento di testo, spesso una porzione di parola, che i modelli leggono e generano.
Definizione formale
Un token è l'unità di testo che un modello elabora, tipicamente una parola o un frammento di sotto-parola prodotto da un tokenizer. I limiti del modello, la latenza e i prezzi delle API sono tutti misurati in token. In AI Stock Challenge, il conteggio dei token regola quanti dati di mercato entrano in una richiesta e influisce sul costo e sulla velocità della decisione di ogni modello.
In parole semplici
È il mattone del testo per un'IA. Invece di leggere frasi intere in una volta, un modello scompone tutto in piccoli pezzi chiamati token, e sia il suo limite di memoria sia il suo conto sono contati in essi.
Esempio
Un blocco denso di notizie di mercato potrebbe essere di diverse migliaia di token, quindi il benchmark lo condensa per lasciare spazio al ragionamento e alla risposta del modello.