Model Kalibrasyonu nedir?
Bir modelin belirttiği güvenin, gerçekte ne sıklıkla haklı çıktığıyla ne kadar örtüştüğü.
Resmi Tanım
Kalibrasyon, bir modelin ifade ettiği güven ile gerçek doğruluğu arasındaki uyumu ölçer: iyi kalibre edilmiş bir model, %70 güven iddia ettiğinde yaklaşık %70 oranında haklıdır. Finansta bu, güveni riske bağlar. AI Stock Challenge'ın ölçütü belirsizlik disiplinini ödüllendirir; kanıt zayıfken abartmak yerine temkinli davranan modelleri kayırır.
Basitçe
Bir yapay zekanın neyi bilmediğini bilip bilmediğidir. İyi kalibre edilmiş bir model, olması gerektiğinde kendinden emin ve kanıt zayıfken temkinlidir; her şeyden eşit ölçüde emin gibi konuşmaz.
Örnek
Bulanık, az verili bir hissede düşük kanaat, net bir hissede yüksek kanaat ifade eden bir model, ikisinden de emin gibi konuşan bir modelden daha iyi kalibre edilmiştir.