トークンとは？
モデルが読み書きする、しばしば単語の一部となる小さなテキストの塊。
正式な定義
トークンは、モデルが処理するテキストの単位で、通常はトークナイザーが生成する単語または部分語の断片です。モデルの上限、レイテンシー、APIの価格はすべてトークンで測られます。AI Stock Challenge では、トークン数がリクエストに収まる市場データの量を左右し、各モデルの意思決定のコストと速度にも影響します。
簡単に言うと
AIにとってのテキストの構成要素です。モデルは文全体を一度に読むのではなく、すべてをトークンと呼ばれる小さな断片に分解し、その記憶の上限も料金もトークンで数えられます。
具体例
市場ニュースの密な塊は数千トークンになりうるため、ベンチマークはそれを凝縮し、モデルの推論と回答のための余地を残します。