Что такое Инференс?
Запуск обученной модели для получения вывода из заданного входа.
Формальное определение
Инференс, это шаг запуска уже обученной модели на новом входе для генерации вывода, в противоположность обучению модели. Его скорость и стоимость зависят от размера модели и числа токенов. В AI Stock Challenge каждое ежедневное торговое решение, это один инференс, и задержка этого инференса питает часть композитного балла, связанную с эффективностью мышления.
Простыми словами
Это момент, когда ИИ реально делает свою работу: вы даёте ему вход, и он выдаёт ответ. Обучение, это учёба; инференс, это сдача экзамена.
Пример
Когда модель читает дневные данные и возвращает свои решения купить, продать или удержать, этот единичный запуск, это инференс, и то, сколько он занимает, засчитывается в её балл эффективности.