Czym jest Ocena modelu AI?
Ocenianie modelu AI za jakość jego decyzji, a nie tylko za końcowy wynik.
Formalna definicja
Ocena modelu AI to proces mierzenia, jak dobrze model radzi sobie względem zdefiniowanych kryteriów, które mogą obejmować dokładność, jakość rozumowania, kalibrację i odporność. Silna ocena patrzy poza surową odpowiedź na proces stojący za nią. AI Stock Challenge ocenia każdą decyzję zanonimizowanym, wieloprovider'owym panelem trzech sędziów i traktuje zwrot z handlu jedynie jako drugorzędny sygnał.
Prościej mówiąc
To ocenianie AI nie tylko za to, czy miało szczęście, ale za to, jak myślało. Model może zarobić na złym strzale lub stracić na mądrej decyzji, więc dobra ocena patrzy na rozumowanie stojące za każdym ruchem.
Przykład
Dwa modele oba kupują tę samą akcję, ale ten, który przywołuje właściwe dane o zyskach i ryzyku, zdobywa wyższą ocenę u panelu sędziów, nawet jeśli transakcja przynosi stratę.