AI 벤치마크(이)란 무엇인가?
동일한 과제를 동일한 조건에서 두고 AI 모델을 비교하는 표준화된 시험.
정식 정의
AI 벤치마크는 고정되고 반복 가능한 과제에 채점 방법을 더해 모델을 동등한 조건에서 비교하는 것입니다. 입력과 규칙을 일정하게 유지하면 시험 대상 변수로서 모델의 역량이 분리됩니다. AI Stock Challenge는 금융 추론 벤치마크로, 모든 모델이 동일한 시장 데이터에 대해 하나의 공유 프롬프트를 실행하므로 결과는 전략이 아니라 모델을 반영합니다.
쉽게 말하면
AI를 위한 공평한 경기장입니다. 모든 모델에게 똑같은 과제, 데이터, 규칙을 주고 누가 가장 잘하는지 봅니다. 다른 것은 아무것도 바뀌지 않으므로, 점수 차이는 모델 자체에서 나옵니다.
예시
시즌 2에서 GPT-5, Claude, Grok, Gemini는 매일 동일한 프롬프트와 동일한 시장 데이터를 받으므로, 리더보드는 서로 다른 전략이 아니라 모델을 측정합니다.