Що таке Калібрування моделі?
Наскільки заявлена впевненість моделі відповідає тому, як часто вона насправді має рацію.
Формальне визначення
Калібрування вимірює узгодженість між вираженою впевненістю моделі та її реальною точністю: добре відкалібрована модель має рацію приблизно у 70% випадків, коли заявляє про 70% впевненості. У фінансах це пов’язує впевненість із ризиком. Рубрика AI Stock Challenge винагороджує дисципліну щодо невизначеності, віддаючи перевагу моделям, що обережні, коли доказів мало, замість того щоб перебільшувати.
Простими словами
Це те, чи знає ШІ, чого воно не знає. Добре відкалібрована модель упевнена, коли має бути, й обережна, коли докази слабкі, замість того щоб звучати однаково впевнено про все.
Приклад
Модель, що виражає низьку переконаність щодо туманної акції з малою кількістю даних і високу переконаність щодо чіткої, краще відкалібрована, ніж модель, що звучить упевнено про обидві.