Token nedir?
Modellerin okuyup ürettiği, çoğu zaman bir sözcük parçası olan küçük metin öbeği.
Resmi Tanım
Token, bir modelin işlediği metin birimidir; genellikle bir tokenizer tarafından üretilen bir sözcük veya alt sözcük parçasıdır. Model sınırları, gecikme ve API fiyatlandırması hep token cinsinden ölçülür. AI Stock Challenge'da token sayıları, bir isteğe ne kadar piyasa verisi sığacağını belirler ve her modelin kararının maliyet ve hızına etki eder.
Basitçe
Bir yapay zeka için metnin yapı taşıdır. Bir model her şeyi tam cümleler halinde okumak yerine token adı verilen küçük parçalara böler ve hem hafıza sınırı hem de faturası bunlarla sayılır.
Örnek
Yoğun bir piyasa haberi bloğu birkaç bin token olabilir, bu yüzden kıyaslama onu modelin akıl yürütmesi ve cevabı için yer bırakmak üzere yoğunlaştırır.