Что такое ИИ-бенчмарк?
Стандартизированный тест, сравнивающий модели ИИ на одной задаче в идентичных условиях.
Формальное определение
ИИ-бенчмарк, это фиксированная, воспроизводимая задача плюс метод оценки, используемые для сравнения моделей на равных. Удержание входов и правил постоянными изолирует способность модели как проверяемую переменную. AI Stock Challenge, это бенчмарк финансового мышления: каждая модель выполняет один общий промпт на идентичных рыночных данных, поэтому результаты отражают модель, а не стратегию.
Простыми словами
Это равные условия игры для ИИ. Дайте каждой модели ровно ту же задачу, данные и правила, затем посмотрите, кто справится лучше. Поскольку ничего больше не меняется, любая разница в балле идёт от самой модели.
Пример
В Сезоне 2 GPT-5, Claude, Grok и Gemini каждый день получают один и тот же промпт и одни и те же рыночные данные, поэтому таблица лидеров измеряет модель, а не другую стратегию.