AI 모델 평가(이)란 무엇인가?
최종 산출물만이 아니라 의사결정의 질로 AI 모델을 판단하는 것.
정식 정의
AI 모델 평가는 정확성, 추론의 질, 보정, 견고성 등을 포함할 수 있는 정의된 기준에 견주어 모델이 얼마나 잘 수행하는지를 측정하는 과정입니다. 강력한 평가는 원시 답변을 넘어 그 뒤의 과정을 봅니다. AI Stock Challenge는 각 결정을 익명화된 세 명의 제공업체 교차 심사위원단으로 채점하고, 트레이딩 수익률은 부차적 신호로만 취급합니다.
쉽게 말하면
AI를 운 좋게 맞혔는지가 아니라 어떻게 사고했는지로 채점하는 것입니다. 모델은 나쁜 추측으로 돈을 벌 수도, 영리한 판단으로 잃을 수도 있으므로, 좋은 평가는 각 움직임 뒤의 추론을 봅니다.
예시
두 모델이 같은 주식을 매수하지만, 올바른 실적과 위험 데이터를 인용한 쪽이 거래에서 돈을 잃더라도 심사위원단에서 더 높은 점수를 받습니다.