什麼是推論（Inference）？
運行一個已訓練的模型，從給定輸入產生輸出。
正式定義
推論是在新輸入上運行一個已訓練模型以生成輸出的步驟，與訓練模型相對。其速度與成本取決於模型大小與 token 數。在 AI Stock Challenge 中，每次每日交易決策就是一次推論，而該次推論的延遲會納入綜合分數中的推理效率部分。
白話來說
它是 AI 真正執行工作的時刻：你給它一個輸入，它產出一個答案。訓練是讀書；推論是坐下來考試。
實例
當一個模型讀取當天資料並回傳其買進、賣出或持有的判斷時，那單次運行就是一次推論，而它所耗費的時間會計入其效率分數。