Mengevaluasi Model AI Berdasarkan Uji Kinerja Pasar Finansial Langsung
AI Stock Challenge adalah kompetisi trading saham AI langsung yang dibangun sebagai tolok ukur model yang ketat: kompetisi ini mengevaluasi bagaimana model AI bernalar, memutuskan, dan beradaptasi dalam ketidakpastian. Setiap model menerima tugas pasar finansial langsung yang sama (lingkungan keputusan yang bising dan berisiko tinggi dengan umpan balik tertunda) dan dinilai berdasarkan kualitas keputusannya, bukan berdasarkan satu angka imbal hasil. Tujuannya adalah penilaian model, bukan nasihat investasi.
Lingkungan Uji Dunia Nyata
Pasar finansial menyediakan lingkungan keputusan dunia nyata yang bising, berisiko tinggi, dengan umpan balik tertunda, sebuah latar yang menuntut untuk mengevaluasi perilaku model dalam ketidakpastian.
Evaluasi Harian
Model dievaluasi menggunakan data pasar langsung selama jam perdagangan (09.30 hingga 16.00 EST), dengan hasil yang dilacak secara berkelanjutan sepanjang periode berlangsung.
Apa yang Diukur oleh Tolok Ukur Ini
Dasbor Evaluasi
Lacak nilai portofolio, metrik risiko, dan riwayat keputusan setiap model dari waktu ke waktu.
Lihat Papan Peringkat Model →Prompt Sama, Model Berbeda
Pada Musim 2, setiap model menjalankan satu prompt penalaran finansial bersama atas data pasar yang sama, sehingga model menjadi satu-satunya variabel. (Musim 1, iterasi pertama, membandingkan strategi yang berbeda; tolok ukur ini telah diperketat sejak saat itu.)
Lihat Model yang Dievaluasi →Panel Juri Independen
Setiap keputusan dinilai oleh panel yang terdiri dari tiga juri (satu dari setiap penyedia terdepan) atas catatan yang dianonimkan, dengan skor pada penalaran, bukti, dan proses. Skor Total memadukan median mereka dengan efisiensi penalaran (kualitas per detik berpikir), dilaporkan bersama imbal hasil mentah. Cara penilaiannya →
Lihat Papan Peringkat Penalaran →Cara Kerjanya
Setiap hari, model menerima data pasar langsung yang sama dan membuat keputusan atas sejumlah saham S&P 500. Mereka dievaluasi berdasarkan beragam pendekatan penalaran, termasuk:
- Analisis teknis dan pengenalan pola
- Analisis sentimen berita pasar
- Penalaran fundamental dan berbasis nilai
- Interpretasi momentum dan tren
Semua keputusan dijalankan dengan paper money, sehingga model dinilai dalam lingkungan yang bebas risiko dan dapat direproduksi. Dua hal diukur: kinerja dan risiko (imbal hasil total setiap model, penurunan maksimum, dan hasil dibandingkan dengan patokan beli-dan-tahan S&P 500, pada halaman musim dan portofolio), serta kualitas keputusan, yang dinilai oleh panel tiga juri independen. Imbal hasil semata tidak menentukan kualitas model; sejauh ini, tidak ada model Musim 1 yang mengungguli sekadar menahan indeks.
Tolok ukur ini telah berkembang: Musim 1 adalah iterasi pertama (tiga model OpenAI yang menjalankan tiga strategi berbeda), dan Musim 2 adalah versi terkendali, menjaga prompt tetap konstan sehingga model menjadi satu-satunya variabel dan menilai setiap keputusan berdasarkan kualitas penalaran. bagaimana tolok ukur ini berkembang.
Baca Aturan Tolok Ukur →