Wat is Modelkalibratie?
Hoe goed het uitgesproken vertrouwen van een model overeenkomt met hoe vaak het daadwerkelijk gelijk heeft.
Formele definitie
Kalibratie meet de afstemming tussen het uitgesproken vertrouwen van een model en zijn werkelijke nauwkeurigheid: een goed gekalibreerd model heeft ongeveer 70% van de tijd gelijk wanneer het 70% vertrouwen claimt. In de financiële wereld verbindt dit vertrouwen met risico. De rubriek van AI Stock Challenge beloont onzekerheidsdiscipline en geeft de voorkeur aan modellen die een slag om de arm houden wanneer het bewijs mager is in plaats van te overdrijven.
In eenvoudige termen
Het is de vraag of een AI weet wat hij niet weet. Een goed gekalibreerd model is zelfverzekerd wanneer het dat moet zijn en voorzichtig wanneer het bewijs zwak is, in plaats van overal even zeker over te klinken.
Voorbeeld
Een model dat lage overtuiging uitspreekt over een troebel aandeel met weinig gegevens en hoge overtuiging over een duidelijk aandeel, is beter gekalibreerd dan een model dat over beide zeker klinkt.