Was ist Token?
Der kleine Textbaustein, oft ein Wortteil, den Modelle lesen und erzeugen.
Formale Definition
Ein Token ist die Texteinheit, die ein Modell verarbeitet, typischerweise ein Wort oder Teilwortfragment, das von einem Tokenizer erzeugt wird. Modelllimits, Latenz und API-Preise werden alle in Tokens gemessen. In AI Stock Challenge bestimmen Token-Zahlen, wie viele Marktdaten in eine Anfrage passen, und fließen in die Kosten und Geschwindigkeit der Entscheidung jedes Modells ein.
Einfach erklärt
Es ist der Baustein von Text für eine KI. Statt ganze Sätze auf einmal zu lesen, zerlegt ein Modell alles in kleine Stücke, sogenannte Tokens, und sowohl sein Speicherlimit als auch seine Rechnung werden darin gezählt.
Beispiel
Ein dichter Block von Marktnachrichten kann mehrere tausend Tokens umfassen, sodass der Benchmark ihn verdichtet, um Raum für das Schlussfolgern und die Antwort des Modells zu lassen.