什麼是模型校準?

模型所陳述的信心與其實際正確頻率的吻合程度。

正式定義

校準衡量模型所表達的信心與其真實準確度之間的一致性:一個校準良好的模型,在宣稱 70% 信心時約有 70% 的時候是對的。在金融中,這將信心與風險連結起來。AI Stock Challenge 的評分標準獎勵不確定性紀律,偏好在證據薄弱時有所保留、而非過度宣稱的模型。

白話來說

它是指 AI 是否知道自己不知道什麼。一個校準良好的模型在該有信心時有信心、在證據薄弱時謹慎,而不是對每件事都聽起來同樣篤定。

實例

一個對於資料稀少、模糊不清的股票表達低信心,而對明確的股票表達高信心的模型,比一個對兩者都聽來篤定的模型校準得更好。

相關術語

繼續探索