Почему все врут про свои модели (и как это остановить)
Откройте любой анонс новой LLM в 2025 году. Claude 4? 95% на MMLU. Gemini Ultra 3? 96.5%. DeepSeek-R1? 97.2%. Все бьют рекорды, все гениальны. А потом скачиваешь модель - и она тупит на простейших логических задачах.
Разрыв между бумажными метриками и реальной производительностью стал настолько вопиющим, что даже академики начали стыдливо отводить глаза. MMLU протестирован на тренировочных данных. GSM8K решается шаблонными промптами. SWE-bench превратился в инструмент пропаганды.
На февраль 2026 года ситуация: 87% опубликованных результатов на стандартных бенчмарках невозможно воспроизвести с теми же условиями оценки. Компании просто подбирают параметры под нужные цифры.
Community Evals: GitHub для тестирования моделей
Hugging Face в 2024 году сделал то, что должно было сделать лет пять назад. Они превратили репозитории датасетов в полноценные бенчмарки с системой Pull Request от сообщества.
Вот как это работает на практике:
1 Любой создаёт репозиторий-бенчмарк
Хочешь проверить, как модели справляются с медицинскими вопросами? Создаёшь датасет на HF Hub с вопросами и эталонными ответами. Помечаешь его как "eval" - и готово. Теперь это официальный бенчмарк.
2 Сообщество добавляет результаты
Кто-то запускает твой бенчмарк на Qwen 2.5-72B, кто-то на Llama 3.1-405B, кто-то на свежей Gemma 3n (которая, кстати, используется в офлайн-ассистентах). Каждый загружает свои результаты через PR.
3 Система проверяет воспроизводимость
Вот здесь самое вкусное. HF даёт бейджи "Verified" только тем результатам, которые можно воспроизвести. Запустил скрипт - получил те же цифры. Нет? Значит результат не верифицирован.
| Бенчмарк | Что проверяет | Проблема стандартной версии | Community Eval версия |
|---|---|---|---|
| MMLU Pro | Многопредметные знания | Утечка в тренировочные данные | Динамически обновляемые вопросы |
| GPQA | Глубокие экспертные знания | Слишком узкий, легко обучить | Разные уровни сложности от сообщества |
| HLE (Human-Like Evaluation) | Естественные диалоги | Субъективные оценки | Краудсорсинг оценок с верификацией |
| HugeContext | Работа с длинным контекстом | Синтетические данные | Реальные документы от пользователей |
Три примера, которые всё объясняют
Возьмём конкретные кейсы с Hub. Не абстрактные разговоры, а то, что реально работает.
MMLU-Community-Eval
Оригинальный MMLU умер в 2024 году. Все модели его выучили. Сообщество создало форк, где каждую неделю добавляются новые вопросы по свежим научным статьям, новостям, даже мемам.
Результат? Claude 4, который на официальном MMLU показывает 95%, здесь едва дотягивает до 78%. Потому что вопросы действительно новые.
Code-Evals-Hard
Ответ на проблему локального RAG для кода. Вместо синтетических задач - реальные issue из GitHub, которые действительно сложные. И не просто "напиши функцию", а "найди race condition в этом коде" или "оптимизируй запрос к базе".
Интересный факт: модели размером 7B часто показывают здесь лучше результаты, чем 70B. Потому что меньшие модели меньше переобучаются на синтетике.
Medical-QA-Verified
Бенчмарк создали реальные врачи. Каждый ответ проверяется минимум тремя специалистами. Если модель даёт опасный совет ("примите антибиотики при вирусе") - результат автоматически дисквалифицируется.
Именно такие бенчмарки показывают, почему нельзя доверять стандартным медицинским тестам от компаний.
Почему это раздражает большие компании
Очевидно же. Раньше можно было:
- Подобрать температуру генерации под конкретный бенчмарк
- Использовать специальные промпты для каждого датасета
- Тестировать на урезанной версии данных
- Не публиковать условия воспроизведения
Теперь нельзя. Community Evals требует:
- Полный скрипт оценки в репозитории
- Конкретную версию модели (не "Llama 3", а "Llama-3.1-70B-Instruct-hf")
- Все параметры генерации
- Сырые ответы модели, а не только итоговый score
И самое главное - любой может запустить твою оценку и проверить. Не сходится? Результат помечается как неподтверждённый.
Кому это реально нужно (спойлер: почти всем)
Исследователям
Если ты пишешь статью и хочешь честно сравнить свою модель с другими - Community Evals единственный способ не выглядеть идиотом. Потому что рецензенты уже научились проверять, не использовал ли ты "особые" настройки.
Инженерам
Выбираешь модель для продакшена? Посмотри не на маркетинговые цифры, а на то, как модель работает на конкретных задачах, близких к твоим. Есть бенчмарки для юридических документов, для медицинских текстов, для финансовых отчётов.
Компаниям с открытыми моделями
Для Mistral, Meta, Google (с их открытыми моделями) - это способ показать, что их результаты честные. Загружаешь оценки в Community Evals, получаешь Verified бейджи - и твоим цифрам больше верят.
Энтузиастам
Хочешь помочь сообществу? Найди слабое место у популярной модели, создай бенчмарк, который это выявляет. Или добавь сложные вопросы в существующий. Это как краудсорсинговая охота на баги в ИИ.
Где система даёт сбой (потому что идеального ничего нет)
Community Evals не панацея. Вот что бесит пользователей:
- Качество данных: Кто угодно может создать бенчмарк. Даже с кривыми вопросами или ошибками в ответах. Система рейтингов и модерации работает, но не идеально.
- Вычислительные ресурсы: Чтобы проверить результат на Llama 3.1-405B, нужно 5×80GB GPU. Не у всех есть.
- Геймификация: Начинается гонка за создание "самых сложных" бенчмарков, где все модели показывают 0%. Бесполезно, но популярно.
- Отсутствие стандартов: Один бенчмарк использует точное совпадение, другой - семантическое, третий - оценку GPT-4. Сравнивать результаты между разными evals сложно.
Но главное - система работает. Она живая. Она развивается. В отличие от застывших в 2022 году MMLU и GSM8K.
Что будет дальше (предсказание на 2026-2027)
Community Evals убьёт классические бенчмарки. Окончательно. Вот как:
- Журналы вроде NeurIPS и ICML начнут требовать оценки через Community Evals для статей
- Крупные компании перестанут публиковать результаты на MMLU/GSM8K - потому что все будут смеяться
- Появятся специализированные бенчмарки для конкретных индустрий (юристы, врачи, финансисты создадут свои)
- Система Verified результатов станет стандартом де-факто для сравнения моделей
И самое важное - мы наконец-то перестанем сравнивать модели по тем метрикам, которые они уже выучили. Как будто сравнивать студентов не по знаниям, а по умению угадывать ответы в конкретном учебнике.
P.S. Если ваша компания всё ещё хвастается результатами на MMLU - пора обновить слайды. Это уже не смешно, это грустно.
