什麼是Token？
模型讀取與生成的小段文字，通常是一個詞的片段。
正式定義
token 是模型處理文字的單位，通常是由分詞器（tokenizer）產生的一個詞或子詞片段。模型上限、延遲與 API 定價皆以 token 計。在 AI Stock Challenge 中，token 數決定了一次請求能容納多少市場資料，並影響每個模型決策的成本與速度。
白話來說
它是 AI 的文字建構單元。模型不會一次讀取整句話，而是把一切拆成稱為 token 的小片段，而它的記憶上限與帳單都以 token 計。
實例
一大段密集的市場新聞可能有數千個 token，因此本基準測試會將其濃縮，好為模型的推理與回答留下空間。