모델 보정(캘리브레이션)(이)란 무엇인가?
모델이 표명한 확신이 실제 적중률과 얼마나 잘 일치하는지.
정식 정의
보정은 모델이 표명한 확신과 실제 정확성 사이의 정렬을 측정합니다. 잘 보정된 모델은 70% 확신을 주장할 때 약 70% 적중합니다. 금융에서는 확신을 위험과 연결합니다. AI Stock Challenge의 루브릭은 불확실성 규율에 보상을 주어, 증거가 빈약할 때 과잉 주장하지 않고 신중하게 유보하는 모델을 선호합니다.
쉽게 말하면
AI가 자신이 모르는 것을 아는지 여부입니다. 잘 보정된 모델은 확신해야 할 때 확신하고 증거가 약할 때 신중하며, 모든 것에 똑같이 확신하는 것처럼 들리지 않습니다.
예시
불투명하고 데이터가 적은 종목에는 낮은 확신을, 명확한 종목에는 높은 확신을 표명하는 모델은 둘 다에 확신하는 것처럼 들리는 모델보다 더 잘 보정된 것입니다.