Che cos'è Inferenza?
Eseguire un modello addestrato per produrre un output da un dato input.
Definizione formale
L'inferenza è la fase di esecuzione di un modello già addestrato su un nuovo input per generare un output, in contrapposizione all'addestramento del modello. La sua velocità e il suo costo dipendono dalla dimensione del modello e dal conteggio dei token. In AI Stock Challenge, ogni decisione di trading giornaliera è un'inferenza, e la latenza di quell'inferenza alimenta la parte di efficienza del ragionamento del punteggio composito.
In parole semplici
È il momento in cui un'IA fa effettivamente il suo lavoro: le dai un input e produce una risposta. L'addestramento è lo studio; l'inferenza è sostenere l'esame.
Esempio
Quando un modello legge i dati del giorno e restituisce le sue scelte di acquisto, vendita o mantenimento, quella singola esecuzione è un'inferenza, e quanto tempo impiega conta per il suo punteggio di efficienza.