Apa itu Kalibrasi Model?
Seberapa baik keyakinan yang dinyatakan sebuah model sesuai dengan seberapa sering ia benar-benar tepat.
Definisi Formal
Kalibrasi mengukur keselarasan antara keyakinan yang diungkapkan sebuah model dan akurasi sesungguhnya: model yang terkalibrasi baik tepat sekitar 70% dari waktu ketika ia mengklaim keyakinan 70%. Dalam keuangan ini menghubungkan keyakinan dengan risiko. Rubrik AI Stock Challenge memberi imbalan pada disiplin ketidakpastian, mengutamakan model yang berhati-hati ketika bukti tipis alih-alih mengklaim berlebihan.
Dalam Bahasa Sederhana
Ini adalah apakah sebuah AI tahu apa yang tidak diketahuinya. Model yang terkalibrasi baik percaya diri ketika seharusnya dan berhati-hati ketika buktinya lemah, alih-alih terdengar sama yakinnya tentang segala hal.
Contoh
Sebuah model yang menyatakan keyakinan rendah pada saham yang keruh dan minim data serta keyakinan tinggi pada yang jelas lebih baik kalibrasinya daripada model yang terdengar yakin tentang keduanya.