Was ist KI-Benchmark?
Ein standardisierter Test, der KI-Modelle unter identischen Bedingungen an derselben Aufgabe vergleicht.
Formale Definition
Ein KI-Benchmark ist eine feste, wiederholbare Aufgabe samt einer Bewertungsmethode, die genutzt wird, um Modelle auf gleicher Grundlage zu vergleichen. Das Konstanthalten der Eingaben und Regeln isoliert die Modellfähigkeit als die getestete Variable. AI Stock Challenge ist ein Benchmark für finanzielles Schlussfolgern: jedes Modell führt einen gemeinsamen Prompt über identische Marktdaten aus, sodass die Ergebnisse das Modell und nicht die Strategie widerspiegeln.
Einfach erklärt
Es sind gleiche Wettbewerbsbedingungen für KI. Geben Sie jedem Modell exakt dieselbe Aufgabe, dieselben Daten und dieselben Regeln, dann sehen Sie, wer am besten abschneidet. Weil sich sonst nichts ändert, kommt jeder Unterschied im Ergebnis vom Modell selbst.
Beispiel
In Staffel 2 erhalten GPT-5, Claude, Grok und Gemini jeden Tag denselben Prompt und dieselben Marktdaten, sodass die Rangliste das Modell misst, nicht eine andere Strategie.