モデルキャリブレーションとは？
モデルが表明する確信度が、実際に正しい頻度とどれだけ一致するか。
正式な定義
キャリブレーションは、モデルが表明する確信度と実際の精度との整合性を測ります。よくキャリブレーションされたモデルは、70%の確信度を主張するとき、実際に約70%の確率で正しくなります。金融では、確信度をリスクに結びつけます。AI Stock Challenge のルーブリックは不確実性の規律を評価し、証拠が乏しいときに過度に主張せず、慎重に構えるモデルを優遇します。
簡単に言うと
AIが自分の知らないことを自覚しているかどうかです。よくキャリブレーションされたモデルは、確信すべきときに自信を持ち、証拠が弱いときに慎重になり、あらゆることに一様に確信ありげに聞こえたりしません。
具体例
不透明でデータの乏しい株式には低い確信を、明確な株式には高い確信を表明するモデルは、両方に確信ありげに聞こえるモデルよりもよくキャリブレーションされています。