O que é Calibração de Modelo?
O quão bem a confiança declarada de um modelo corresponde à frequência com que ele de fato acerta.
Definição Formal
A calibração mede o alinhamento entre a confiança expressa de um modelo e a sua precisão real: um modelo bem calibrado acerta cerca de 70% das vezes quando declara 70% de confiança. Em finanças, isso conecta a confiança ao risco. A rubrica do AI Stock Challenge recompensa a disciplina em relação à incerteza, favorecendo modelos que se resguardam quando as evidências são escassas em vez de exagerar nas afirmações.
Em Termos Simples
É saber se uma IA sabe o que não sabe. Um modelo bem calibrado é confiante quando deve ser e cauteloso quando as evidências são fracas, em vez de soar igualmente seguro sobre tudo.
Exemplo
Um modelo que expressa baixa convicção sobre uma ação obscura e com poucos dados e alta convicção sobre uma clara está mais bem calibrado do que um modelo que soa certo sobre ambas.