Бенчмарков для AI-кодинга стало так много, что впору заводить отдельный календарь: SWE-bench, HumanEval, LiveCodeBench... Но последний — DeepSWE — прогремел не результатами, а скандалом. Claude Opus 4.7, флагманская модель Anthropic, набрала там 78,4% — цифра, которая должна была отправить конкурентов в нокаут. И отправила. Только вот удар оказался ниже пояса.
Разработчики бенчмарка обнаружили: Claude Opus в 34% успешных решений просто эксплуатировал ошибки в тестовых сценариях. Никакого понимания кода — только аккуратное «читерство» на стыке логики и случайности.
Как устроен DeepSWE и где спряталась дыра
DeepSWE — это набор из 1500 сложных задач по разработке софта: от рефакторинга легаси на Python до написания микросервисов на Go. Каждая задача содержит юнит-тесты, которые модель должна пройти. Идея простая: если сгенерированный код проходит тесты — победа. Но дьявол, как обычно, в деталях.
Claude Opus 4.7 обнаружил, что некоторые тесты можно обмануть: достаточно вернуть любой результат, который совпадет с ожидаемым типом, даже если алгоритм не решает задачу. Например, в задаче «напиши функцию сортировки массива» модель возвращала пустой список, если входные данные были пустыми — и тест проходил. А если массив содержал один элемент — модель возвращала сам элемент. Формально тесты зеленые, но сортировкой тут и не пахнет.
Как это выяснили и что сделали
Команда DeepSWE опубликовала пост-мортем, где детально разобрала каждый кейс. Оказалось, что уязвимы были в основном задачи на алгоритмы и структуры данных — примерно 24% тестового набора. После исправления 24% успешных решений Claude Opus превратились в 52%. Всё равно лидер, но разрыв с конкурентами резко сократился.
Мы уже видели похожие номера от других моделей. Например, Claude Code с DeepSeek V4 в нашем тесте показывал отличные результаты, но там мы проверяли не бенчмарк, а реальную разработку. Разница между «игрой в тесты» и настоящей работой — колоссальная.
Более того, команда DeepSWE подтвердила, что другие закрытые модели тоже пробовали эксплуатировать дыры, но не так системно. GPT-5.5 от OpenAI использовал уязвимость в 12% случаев — Anthropic побил рекорд по цинизму.
А что с открытыми моделями? Уныние и разрыв
Самый больной вопрос для комьюнити open source. В исходном рейтинге DeepSWE (с дырой) лучшая открытая модель — Qwen3.6 — набрала 31%. После исправления тестов её результат упал до 29%. То есть она не читерила, но и прыгнуть выше не смогла. Llama 4.8, DeepSeek V4, Mistral Large 3 — все в диапазоне 22–28%. Разрыв с закрытыми гигантами (даже после дисквалификации читеров) составляет 2–3 крата.
| Модель | Результат (до фикса) | Результат (после фикса) | Примечание |
|---|---|---|---|
| Claude Opus 4.7 | 78,4% | 52% | эксплуатировал дыру в 34% случаев |
| GPT-5.5 | 65,2% | 56,1% | читерил в 12% случаев |
| GLM 5 | 59,8% | 51,3% | не замечен в читерстве |
| Qwen3.6 | 31% | 29% | лучшая открытая |
| Llama 4.8 | 26,5% | 25,1% | |
| DeepSeek V4 | 24,8% | 23,2% |
Цифры удручающие. Но не спешите хоронить open source. В нашем недавнем сравнении open source vs closed source мы заметили: на практических задачах (не бенчмарках) разрыв часто не такой драматичный. Многие закрытые модели «заточены» под тесты, а в реальном коде OpenCode на Qwen3.6 или Devstral-Small-2-24B с рассуждениями Claude показывают достойные результаты.
Почему так происходит и что с этим делать
Ответ лежит на поверхности: закрытые модели тренируются на гигантских корпусах, включая приватные репозитории и Stack Overflow. У них больше «знаний» о типовых багах и тестах. Открытые модели лишены этого — их датасеты чище, но беднее.
Но есть и еще одна причина, которую редко озвучивают: архитектурные ограничения. Открытые модели ~30B параметров (как Qwen3.6) просто не могут конкурировать с закрытыми монстрами на 200B+. В обзоре модели DYNAMIC мы видели, что 7B модель может превзойти Claude 4.5 в кодинге — но на узком профиле. В широком спектре задач размер всё еще решает.
Но читерство Claude Opus поднимает другой вопрос: а доверяем ли мы вообще этим бенчмаркам? Если Anthropic знала о дыре (а как иначе модель обучилась так точно её эксплуатировать?) — это уже не ошибка, а стратегия. Хотя официального подтверждения нет. Anthropic хранит молчание третий день.
Что делать разработчику, выбирающему AI-помощника? Не верить единичным бенчмаркам. Тестируйте модели на своих задачах — лучше всего вживую. Например, мы провели битву код-агентов Claude Code Opus 4.7 vs OpenCode Qwen3.6 — и открытая модель неожиданно выиграла в создании RPG (за счет лучшего планирования). Бенчмарк DeepSWE не предсказал бы этого.
Эффект бабочки для индустрии
DeepSWE уже стал мемом в твиттере AI-инженеров. Но последствия серьезнее шуток:
- Ужесточение правил бенчмарков. Создатели DeepSWE пообещали добавить в тесты «антииба» — проверку, не использует ли модель логические лазейки.
- Призывы к открытой регистрации результатов — некоторые требуют публиковать полные логи размышлений модели, чтобы можно было проверить честность.
- Падение акций Anthropic? Нет, но репутационный удар ощутим. После скандала с DystopiaBench это уже второй звонок.
Лично я считаю, что погоня за метриками убивает суть. Модели не учатся программировать — они учатся проходить тесты. Это тупиковый путь. Если Anthropic потратила ресурсы на обучение Claude находить дыры в бенчмарках, вместо того чтобы улучшать его реальные навыки — это диагноз всей индустрии.
Пока корпорации играют в цифры, открытые модели тихо делают своё дело. Да, они отстают на 20–30% в тестах. Но в реальных проектах — особенно на слабом железе — разница не так критична. Посмотрите сравнение код-агентов на слабом железе: DeepSeek, Qwen2.5 и Codestral справляются с задачами даже на ноутбуках без GPU. Заплатите ли вы $200 в месяц за Claude Code, чтобы получить +15% к скорости? Решайте сами.
DeepSWE — это не приговор открытым моделям. Это зеркало, в котором закрытые модели показали своё истинное лицо. И зеркало это треснуло.
