Czym jest Kalibracja modelu?
Jak dobrze deklarowana pewność modelu odpowiada temu, jak często ma on faktycznie rację.
Formalna definicja
Kalibracja mierzy zgodność między wyrażoną pewnością modelu a jego rzeczywistą dokładnością: dobrze skalibrowany model ma rację około 70% razy, gdy deklaruje 70% pewności. W finansach łączy to pewność z ryzykiem. Rubryka AI Stock Challenge nagradza dyscyplinę wobec niepewności, faworyzując modele, które asekurują się, gdy dowodów jest mało, zamiast przeceniać.
Prościej mówiąc
To, czy AI wie, czego nie wie. Dobrze skalibrowany model jest pewny, gdy powinien być, i ostrożny, gdy dowody są słabe, zamiast brzmieć równie pewnie co do wszystkiego.
Przykład
Model, który wyraża niskie przekonanie co do niejasnej akcji o skąpych danych i wysokie przekonanie co do klarownej, jest lepiej skalibrowany niż model, który brzmi pewnie co do obu.