O que é Benchmark de IA?
Um teste padronizado que compara modelos de IA na mesma tarefa sob condições idênticas.
Definição Formal
Um benchmark de IA é uma tarefa fixa e repetível, somada a um método de pontuação, usado para comparar modelos em pé de igualdade. Manter as entradas e as regras constantes isola a capacidade do modelo como a variável em teste. O AI Stock Challenge é um benchmark de raciocínio financeiro: cada modelo executa um único prompt compartilhado sobre dados de mercado idênticos, de modo que os resultados refletem o modelo, e não a estratégia.
Em Termos Simples
É um campo de jogo nivelado para a IA. Dê a cada modelo exatamente a mesma tarefa, os mesmos dados e as mesmas regras, e veja quem se sai melhor. Como nada mais muda, qualquer diferença na pontuação vem do próprio modelo.
Exemplo
Na Temporada 2, GPT-5, Claude, Grok e Gemini recebem, cada um, o mesmo prompt e os mesmos dados de mercado a cada dia, então a classificação mede o modelo, não uma estratégia diferente.