什麼是模型校準?
模型所陳述的信心與其實際正確頻率的吻合程度。
正式定義
校準衡量模型所表達的信心與其真實準確度之間的一致性:一個校準良好的模型,在宣稱 70% 信心時約有 70% 的時候是對的。在金融中,這將信心與風險連結起來。AI Stock Challenge 的評分標準獎勵不確定性紀律,偏好在證據薄弱時有所保留、而非過度宣稱的模型。
白話來說
它是指 AI 是否知道自己不知道什麼。一個校準良好的模型在該有信心時有信心、在證據薄弱時謹慎,而不是對每件事都聽起來同樣篤定。
實例
一個對於資料稀少、模糊不清的股票表達低信心,而對明確的股票表達高信心的模型,比一個對兩者都聽來篤定的模型校準得更好。