Was ist Modellkalibrierung?
Wie gut die angegebene Zuversicht eines Modells damit übereinstimmt, wie oft es tatsächlich richtig liegt.
Formale Definition
Die Kalibrierung misst die Übereinstimmung zwischen der ausgedrückten Zuversicht eines Modells und seiner tatsächlichen Genauigkeit: ein gut kalibriertes Modell liegt in etwa 70% der Fälle richtig, wenn es 70% Zuversicht beansprucht. In der Finanzwelt verbindet dies Zuversicht mit Risiko. Das Bewertungsraster von AI Stock Challenge belohnt Disziplin im Umgang mit Unsicherheit und bevorzugt Modelle, die absichern, wenn die Belege dünn sind, statt zu übertreiben.
Einfach erklärt
Es geht darum, ob eine KI weiß, was sie nicht weiß. Ein gut kalibriertes Modell ist zuversichtlich, wenn es das sein sollte, und vorsichtig, wenn die Belege schwach sind, statt bei allem gleich sicher zu klingen.
Beispiel
Ein Modell, das bei einer unklaren Aktie mit wenig Daten geringe Überzeugung ausdrückt und bei einer klaren hohe Überzeugung, ist besser kalibriert als ein Modell, das bei beiden sicher klingt.