Что такое Калибровка модели?
Насколько хорошо заявленная моделью уверенность соответствует тому, как часто она действительно права.
Формальное определение
Калибровка измеряет согласованность между выраженной моделью уверенностью и её реальной точностью: хорошо откалиброванная модель права примерно в 70% случаев, когда заявляет уверенность 70%. В финансах это связывает уверенность с риском. Рубрика AI Stock Challenge вознаграждает дисциплину неопределённости, отдавая предпочтение моделям, которые хеджируют при скудных доказательствах, а не переоценивают уверенность.
Простыми словами
Это знает ли ИИ, чего он не знает. Хорошо откалиброванная модель уверена, когда должна быть, и осторожна, когда доказательства слабы, вместо того чтобы звучать одинаково уверенно во всём.
Пример
Модель, выражающая низкую убеждённость по неясной, малоданной акции и высокую убеждённость по ясной, откалибрована лучше, чем модель, звучащая уверенно в обоих случаях.