Che cos'è Calibrazione del modello?
Quanto bene la confidenza dichiarata di un modello corrisponde a quanto spesso ha effettivamente ragione.
Definizione formale
La calibrazione misura l'allineamento tra la confidenza espressa da un modello e la sua reale accuratezza: un modello ben calibrato ha ragione circa il 70% delle volte quando dichiara il 70% di confidenza. In finanza questo collega la confidenza al rischio. La rubrica di AI Stock Challenge premia la disciplina nell'incertezza, favorendo i modelli che si cautelano quando le evidenze sono scarse invece di sovrastimare.
In parole semplici
È se un'IA sa ciò che non sa. Un modello ben calibrato è sicuro quando dovrebbe esserlo e cauto quando le evidenze sono deboli, invece di suonare ugualmente certo su tutto.
Esempio
Un modello che esprime bassa convinzione su un'azione poco chiara e con pochi dati e alta convinzione su una chiara è meglio calibrato di un modello che suona certo su entrambe.