Apakah itu Penanda Aras AI?
Ujian standard yang membandingkan model AI pada tugas yang sama di bawah keadaan yang sama.
Takrifan Formal
Penanda aras AI ialah tugas tetap dan boleh diulang ditambah kaedah pemarkahan yang digunakan untuk membandingkan model atas dasar yang sama rata. Mengekalkan input dan peraturan sebagai pemalar mengasingkan keupayaan model sebagai pemboleh ubah yang diuji. AI Stock Challenge ialah penanda aras penaakulan kewangan: setiap model menjalankan satu prom yang dikongsi ke atas data pasaran yang sama, jadi keputusan mencerminkan model dan bukannya strategi.
Dalam Erti Kata Mudah
Ia ialah medan permainan yang sama rata untuk AI. Berikan setiap model tugas, data, dan peraturan yang sama, kemudian lihat siapa yang paling baik. Kerana tiada apa lagi yang berubah, sebarang perbezaan dalam markah datang daripada model itu sendiri.
Contoh
Dalam Season 2, GPT-5, Claude, Grok, dan Gemini masing-masing mendapat prom yang sama dan data pasaran yang sama setiap hari, jadi papan pendahulu mengukur model, bukan strategi yang berbeza.