Що таке Інференс?
Запуск навченої моделі для отримання результату із заданого вхідного даного.
Формальне визначення
Інференс це крок запуску вже навченої моделі на нових вхідних даних для генерації результату, на відміну від навчання моделі. Його швидкість і вартість залежать від розміру моделі та кількості токенів. У AI Stock Challenge кожне щоденне торгове рішення це один інференс, а затримка цього інференсу живить частину композитного балу, що стосується ефективності міркування.
Простими словами
Це момент, коли ШІ насправді виконує свою роботу: ви даєте йому вхідні дані, і воно видає відповідь. Навчання це підготовка; інференс це складання іспиту.
Приклад
Коли модель читає денні дані й повертає свої рішення купувати, продавати чи утримувати, цей один запуск є інференсом, і те, скільки він триває, зараховується до її балу ефективності.