AIモデル評価とは？
最終的な出力だけでなく、意思決定の質でAIモデルを判断すること。
正式な定義
AIモデル評価は、精度、推論の質、キャリブレーション、堅牢性を含みうる定義済みの基準に対して、モデルがどれだけうまく機能するかを測定するプロセスです。優れた評価は、生の答えの先にある、その背後のプロセスに目を向けます。AI Stock Challenge は、匿名化された3名によるプロバイダー横断的な審査員パネルで各意思決定を採点し、トレーディングのリターンは副次的なシグナルとしてのみ扱います。
簡単に言うと
AIを、たまたま運が良かったかどうかではなく、どう考えたかで採点することです。モデルは誤った推測で儲けることも、賢い判断で損をすることもあるため、優れた評価は各行動の背後にある推論を見ます。
具体例
2つのモデルが同じ株式を買っても、適切な決算やリスクのデータを引用した方が、たとえその取引が損失を出しても審査員パネルで高いスコアを得ます。