Che cos'è Benchmark di IA?
Un test standardizzato che confronta i modelli di IA sullo stesso compito in condizioni identiche.
Definizione formale
Un benchmark di IA è un compito fisso e ripetibile più un metodo di punteggio usato per confrontare i modelli ad armi pari. Mantenere costanti gli input e le regole isola la capacità del modello come variabile sotto esame. AI Stock Challenge è un benchmark di ragionamento finanziario: ogni modello esegue un prompt condiviso sugli stessi dati di mercato, così i risultati riflettono il modello piuttosto che la strategia.
In parole semplici
È un terreno di gioco livellato per l'IA. Dai a ogni modello esattamente lo stesso compito, gli stessi dati e le stesse regole, poi vedi chi fa meglio. Poiché nient'altro cambia, qualsiasi differenza nel punteggio deriva dal modello stesso.
Esempio
Nella Season 2, GPT-5, Claude, Grok e Gemini ricevono ogni giorno lo stesso prompt e gli stessi dati di mercato, così la classifica misura il modello, non una strategia diversa.