Czym jest Token?
Mały fragment tekstu, często kawałek słowa, który modele odczytują i generują.
Formalna definicja
Token to jednostka tekstu, którą przetwarza model, zwykle słowo lub fragment podsłowa wytworzony przez tokenizer. Limity modelu, opóźnienie i ceny API są mierzone w tokenach. W AI Stock Challenge liczby tokenów decydują o tym, ile danych rynkowych mieści się w żądaniu, i wpływają na koszt oraz szybkość każdej decyzji modelu.
Prościej mówiąc
To budulec tekstu dla AI. Zamiast czytać całe zdania naraz, model rozbija wszystko na małe kawałki zwane tokenami, a zarówno jego limit pamięci, jak i rachunek są w nich liczone.
Przykład
Gęsty blok wiadomości rynkowych może liczyć kilka tysięcy tokenów, więc benchmark kondensuje go, by zostawić miejsce na rozumowanie i odpowiedź modelu.