AIベンチマークとは？
同一の条件下で同じタスクについてAIモデルを比較する標準化されたテスト。
正式な定義
AIベンチマークは、固定され再現可能なタスクと採点方法を用いて、モデルを対等な立場で比較するものです。入力とルールを一定に保つことで、テスト対象の変数としてモデルの能力を分離します。AI Stock Challenge は金融推論のベンチマークで、すべてのモデルが同一の市場データに対して共通のプロンプトを1つ実行するため、結果は戦略ではなくモデルを反映します。
簡単に言うと
AIにとっての公平な土俵です。すべてのモデルにまったく同じタスク、データ、ルールを与え、誰が最も優れているかを見ます。他に何も変わらないため、スコアの差はモデルそのものから生じます。
具体例
シーズン2では、GPT-5、Claude、Grok、Gemini が毎日同じプロンプトと同じ市場データを受け取るため、リーダーボードは異なる戦略ではなくモデルを測定します。