Qu'est-ce que Calibration du modèle ?
Dans quelle mesure la confiance déclarée d'un modèle correspond à la fréquence à laquelle il a réellement raison.
Définition formelle
La calibration mesure l'alignement entre la confiance exprimée par un modèle et son exactitude réelle : un modèle bien calibré a raison environ 70% du temps quand il affiche 70% de confiance. En finance, cela relie la confiance au risque. Le barème d'AI Stock Challenge récompense la discipline dans l'incertitude, favorisant les modèles qui nuancent quand les preuves sont minces plutôt que de surestimer.
En termes simples
C'est savoir si une IA sait ce qu'elle ignore. Un modèle bien calibré est confiant quand il devrait l'être et prudent quand les preuves sont faibles, au lieu de sembler également sûr de tout.
Exemple
Un modèle qui exprime une faible conviction sur une action floue et peu documentée et une forte conviction sur une action claire est mieux calibré qu'un modèle qui semble certain des deux.