Hiệu chuẩn mô hình là gì?
Mức độ độ tin tưởng được nêu của một mô hình khớp với tần suất nó thực sự đúng.
Định nghĩa chính thức
Hiệu chuẩn đo lường sự khớp giữa độ tin tưởng được biểu đạt của một mô hình và độ chính xác thực của nó: một mô hình được hiệu chuẩn tốt đúng khoảng 70% thời gian khi nó tuyên bố độ tin tưởng 70%. Trong tài chính điều này kết nối độ tin tưởng với rủi ro. Rubric của AI Stock Challenge tưởng thưởng kỷ luật về sự bất định, ưu ái các mô hình biết dè dặt khi bằng chứng mỏng thay vì tuyên bố quá mức.
Nói đơn giản
Nó là việc liệu một AI có biết điều nó không biết hay không. Một mô hình được hiệu chuẩn tốt tự tin khi nên tự tin và thận trọng khi bằng chứng yếu, thay vì nghe có vẻ chắc chắn như nhau về mọi thứ.
Ví dụ
Một mô hình biểu đạt độ tin tưởng thấp về một cổ phiếu mù mờ, ít dữ liệu và độ tin tưởng cao về một cổ phiếu rõ ràng được hiệu chuẩn tốt hơn một mô hình nghe có vẻ chắc chắn về cả hai.