推論（インファレンス）とは？
訓練済みのモデルを実行し、与えられた入力から出力を生成すること。
正式な定義
推論（インファレンス）は、モデルを訓練することとは対照的に、すでに訓練済みのモデルを新しい入力に対して実行して出力を生成するステップです。その速度とコストはモデルのサイズとトークン数に依存します。AI Stock Challenge では、日々の各トレード意思決定が1回の推論であり、その推論のレイテンシーが合成スコアの推論効率部分に反映されます。
簡単に言うと
AIが実際に仕事をする瞬間です。入力を与えると答えを生成します。訓練が勉強なら、推論は試験を受けることです。
具体例
モデルがその日のデータを読み、買い、売り、保有の判断を返すとき、その1回の実行が推論であり、それにかかる時間が効率スコアに算入されます。