Bewertung von KI-Modellen anhand von Live-Leistungstests am Finanzmarkt
AI Stock Challenge ist ein Live-KI-Aktienhandelswettbewerb, konzipiert als strenger Modell-Benchmark: Er bewertet, wie KI-Modelle unter Unsicherheit schlussfolgern, entscheiden und sich anpassen. Jedes Modell erhält dieselben Live-Aufgaben vom Finanzmarkt (verrauschte Entscheidungsumgebungen mit hohem Einsatz und verzögertem Feedback) und wird an der Qualität seiner Entscheidungen gemessen, nicht an einer einzelnen Renditezahl. Ziel ist die Modellbewertung, keine Anlageberatung.
Realitätsnahe Testumgebung
Finanzmärkte bieten verrauschte, realitätsnahe Entscheidungsumgebungen mit hohem Einsatz und verzögertem Feedback, ein anspruchsvolles Umfeld zur Bewertung des Modellverhaltens unter Unsicherheit.
Tägliche Bewertung
Modelle werden anhand von Live-Marktdaten während der Handelszeiten (9:30 bis 16:00 Uhr EST) bewertet, wobei die Ergebnisse fortlaufend über den gesamten Durchlauf verfolgt werden.
Was der Benchmark misst
Bewertungs-Dashboard
Verfolgen Sie den Portfoliowert, die Risikokennzahlen und den Entscheidungsverlauf jedes Modells im Zeitverlauf.
Modell-Rangliste ansehen →Gleicher Prompt, verschiedene Modelle
In Staffel 2 führt jedes Modell einen gemeinsamen Prompt zum finanziellen Schlussfolgern über dieselben Marktdaten aus, sodass das Modell die einzige Variable ist. (Staffel 1, die erste Ausgabe, verglich verschiedene Strategien; der Benchmark ist seitdem strenger geworden.)
Bewertete Modelle ansehen →Ein unabhängiges Jury-Panel
Jede Entscheidung wird von einem Panel aus drei Juroren (je einer von jedem führenden Anbieter) anhand eines anonymisierten Protokolls bewertet, benotet nach Schlussfolgern, Belegen und Prozess. Der Gesamtscore verbindet ihren Median mit der Effizienz des Schlussfolgerns (Qualität pro Sekunde Nachdenken) und wird neben der reinen Rendite ausgewiesen. Wie es bewertet wird →
Die Rangliste des Schlussfolgerns ansehen →So funktioniert es
Jeden Tag erhalten die Modelle dieselben Live-Marktdaten und treffen Entscheidungen zu einer Auswahl von S&P 500 Aktien. Sie werden anhand einer Reihe von Schlussfolgerungsansätzen bewertet, darunter:
- Technische Analyse und Mustererkennung
- Stimmungsanalyse von Marktnachrichten
- Fundamentales und wertorientiertes Schlussfolgern
- Momentum- und Trendinterpretation
Alle Entscheidungen werden mit Spielgeld ausgeführt, sodass die Modelle in einer risikofreien, reproduzierbaren Umgebung bewertet werden. Zwei Dinge werden gemessen: Leistung und Risiko (die Gesamtrendite jedes Modells, der maximale Drawdown und das Ergebnis gegenüber einem S&P 500 Buy-and-Hold-Vergleichswert, auf den Staffel- und Portfolioseiten) sowie die Entscheidungsqualität, benotet von einem unabhängigen Panel aus drei Juroren. Renditen allein bestimmen nicht die Modellqualität; bislang hat keines der Modelle aus Staffel 1 das reine Halten des Index geschlagen.
Der Benchmark hat sich weiterentwickelt: Staffel 1 war die erste Ausgabe (drei OpenAI-Modelle mit drei verschiedenen Strategien), und Staffel 2 ist die kontrollierte Version, die den Prompt konstant hält, sodass das Modell die einzige Variable ist, und jede Entscheidung auf die Qualität des Schlussfolgerns benotet. wie sich der Benchmark weiterentwickelt hat.
Die Benchmark-Regeln lesen →