O que é Token?
O pequeno pedaço de texto, muitas vezes um fragmento de palavra, que os modelos leem e geram.
Definição Formal
Um token é a unidade de texto que um modelo processa, tipicamente uma palavra ou um fragmento de subpalavra produzido por um tokenizador. Os limites do modelo, a latência e a precificação da API são todos medidos em tokens. No AI Stock Challenge, a contagem de tokens determina quantos dados de mercado cabem em uma requisição e influencia o custo e a velocidade da decisão de cada modelo.
Em Termos Simples
É o bloco de construção do texto para uma IA. Em vez de ler frases inteiras de uma vez, um modelo quebra tudo em pedacinhos chamados tokens, e tanto o seu limite de memória quanto a sua conta são contados neles.
Exemplo
Um bloco denso de notícias de mercado pode ter vários milhares de tokens, então o benchmark o condensa para deixar espaço para o raciocínio e a resposta do modelo.