Что такое Токен?
Небольшой фрагмент текста, часто часть слова, который модели читают и генерируют.
Формальное определение
Токен, это единица текста, которую обрабатывает модель, обычно слово или его подслово, производимое токенизатором. Лимиты модели, задержка и цена API измеряются в токенах. В AI Stock Challenge число токенов определяет, сколько рыночных данных умещается в запросе, и влияет на стоимость и скорость решения каждой модели.
Простыми словами
Это строительный блок текста для ИИ. Вместо чтения целых предложений сразу модель разбивает всё на маленькие кусочки, называемые токенами, и в них считаются и её лимит памяти, и её счёт.
Пример
Плотный блок рыночных новостей может составлять несколько тысяч токенов, поэтому бенчмарк сжимает его, чтобы оставить место для мышления и ответа модели.