추론 실행(인퍼런스)(이)란 무엇인가?
학습된 모델을 실행해 주어진 입력에서 출력을 만들어내는 것.
정식 정의
인퍼런스는 모델을 학습시키는 것이 아니라, 이미 학습된 모델을 새로운 입력에 실행해 출력을 생성하는 단계입니다. 속도와 비용은 모델 크기와 토큰 수에 따라 달라집니다. AI Stock Challenge에서는 매일의 각 거래 결정이 하나의 인퍼런스이며, 그 인퍼런스의 지연 시간이 종합 점수의 추론 효율성 부분에 반영됩니다.
쉽게 말하면
AI가 실제로 제 일을 하는 순간입니다. 입력을 주면 답을 내놓습니다. 학습이 공부라면, 인퍼런스는 시험을 치르는 것입니다.
예시
모델이 그날의 데이터를 읽고 매수, 매도, 또는 보유 판단을 반환할 때, 그 한 번의 실행이 인퍼런스이며 걸리는 시간이 효율성 점수에 반영됩니다.