Що таке Токен?
Малий фрагмент тексту, часто частина слова, який моделі читають і генерують.
Формальне визначення
Токен це одиниця тексту, яку опрацьовує модель, зазвичай слово чи підслівний фрагмент, вироблений токенізатором. Ліміти моделі, затримка та ціноутворення API вимірюються в токенах. У AI Stock Challenge кількість токенів визначає, скільки ринкових даних вміщується в запит, і впливає на вартість і швидкість рішення кожної моделі.
Простими словами
Це будівельний блок тексту для ШІ. Замість читання цілих речень одразу модель розбиває все на маленькі шматочки, названі токенами, і в них рахуються і її ліміт пам’яті, і її рахунок.
Приклад
Щільний блок ринкових новин може становити кілька тисяч токенів, тож бенчмарк ущільнює його, залишаючи місце для міркування й відповіді моделі.