¿Qué es Token?
El pequeño fragmento de texto, a menudo una porción de palabra, que los modelos leen y generan.
Definición formal
Un token es la unidad de texto que procesa un modelo, normalmente una palabra o un fragmento de subpalabra producido por un tokenizador. Los límites del modelo, la latencia y la tarificación de la API se miden todos en tokens. En AI Stock Challenge, el recuento de tokens determina cuántos datos de mercado caben en una petición e influye en el coste y la velocidad de la decisión de cada modelo.
En términos sencillos
Es el bloque de construcción del texto para una IA. En lugar de leer frases enteras de una vez, un modelo lo descompone todo en pequeñas piezas llamadas tokens, y tanto su límite de memoria como su factura se cuentan en ellos.
Ejemplo
Un bloque denso de noticias de mercado puede ser de varios miles de tokens, así que el benchmark lo condensa para dejar espacio al razonamiento y la respuesta del modelo.