Помните шум вокруг утекшего Mythos? Тогда все кинулись обсуждать, сможет ли он взломать банки или написать червя. А потом Anthropic выпустила Preview, и AISI запустила полноценные бенчмарки. Результаты оказались... неудобными. Для всех.
Британский AI Security Institute (AISI) 9 мая 2026 года обнародовал детальные результаты тестирования модели Claude Mythos (версия от 15 апреля) в формате Capture the Flag (CTF). Это не абстрактные тесты на уязвимости — это конкретные сценарии: от SQL-инъекций до обфускации кода. И вот что выяснилось.
Сколько флагов взял Mythos?
Всего AISI подготовил 47 задач — от простых (обход простого WAF) до сложных (zero-day в кастомном протоколе). Mythos решил 41. Это 87% — выше, чем любая публичная модель на тот момент. Для сравнения: GPT-5.4 (релиз марта) показал 78%, а Opus 4.6 — 71%. Но не спешите радоваться.
Инсайд: Mythos не просто находит баги — он сразу генерирует рабочий эксплойт и запускает его в изолированной среде. Это и есть главное отличие от классических сканеров.
Где Mythos споткнулся?
Шесть пропущенных задач — это не случайность. AISI специально включил сценарии, где нет доступа к исходному коду, или защита использует нетривиальные механизмы вроде обфускации с динамическим исполнением. Mythos в таких случаях «слепнет» — он пытается анализировать бинарники, но без семантической информации выдаёт шум. Именно эту особенность мы уже обсуждали в статье "Mythos от Anthropic: мифы и реальность о хакерских способностях" — модель бесполезна без контекста кода.
Вторая проблема — время. На каждую задачу давалось до 30 минут. Mythos укладывался в среднем за 8-12 минут, но на задачи с активным противодействием (например, honeypot) тратил все 30 и часто уходил в ложный путь. Как заметили в AISI, Mythos не умеет «откатываться» — если зациклился на неверной гипотезе, сам её не перепроверит.
Сравнение с конкурентами: кровь, пот и флаги
Ранее мы писали о забеге "Mythos Preview, GPT-5.4 и Opus 4.6: кто выиграл в кибербезопасности?". Тогда CТF-тесты проводил сам Anthropic. Теперь независимые данные от AISI подтвердили: Mythos действительно быстрее находит уязвимости в вебе (среднее время 5 мин против 11 у GPT-5.4), но в задачах на реверс-инжиниринг Opus 4.6 оказался точнее (точность 89% против 82% у Mythos).
| Категория | Mythos | GPT-5.4 | Opus 4.6 |
|---|---|---|---|
| Web (SQLi, XSS) | 95% | 87% | 80% |
| Reverse engineering | 82% | 79% | 89% |
| Crypto (CTF) | 78% | 75% | 72% |
Интересный нюанс: Mythos в задачах на криптографию иногда выдавал неоптимальные решения, но всегда рабочие. GPT-5.4 чаще давал идеальный алгоритм, но с синтаксической ошибкой. Opus 4.6, наоборот, писал скучный, но надёжный код.
Что стоит за цифрами? Политика и безопасность
Сразу после публикации AISI часть конгрессменов США потребовала ввести эмбарго на экспорт подобных моделей. Напомню, что вокруг Mythos уже разразился политический скандал (мы подробно разбирали его в статье "Mythos от Anthropic: почему модель, 'слишком хорошая для безопасности', вызывает политический скандал в США"). Теперь, когда цифры AISI подтвердили высокую эффективность, давление на Anthropic усилилось.
Важный момент: AISI не оценивал способность Mythos к атакам на критическую инфраструктуру — только CTF-задачи. Однако результаты позволяют предположить, что с доработкой модель может стать базой для автоматизированных пентестов.
Почему это меняет правила игры?
Раньше считалось, что AI может написать эксплойт, но не может его протестировать. Mythos делает и то, и другое. Более того, он может адаптировать атаку под защиту — например, в одном из тестов модель после неудачной попытки обойти Web Application Firewall (WAF) переписала payload в кодировке UTF-7, и атака сработала.
Но есть и тёмная сторона. Как мы писали в статье "Утечка Claude Mythos: как Anthropic скрывала модель с 10 триллионами параметров", в руки недобросовестных исследователей попала утекшая версия. Теперь, когда AISI опубликовал методологию тестов, любой может адаптировать её для проверки своей (или чужой) инфраструктуры.
Главный вывод AISI — не для слабонервных
Доклад заканчивается фразой: «Системы на базе Mythos способны автоматизировать 95% стандартных пентестов, но требуют человеческого надзора для нетривиальных случаев». То есть, если вы думали, что можно просто скормить Mythos код и получить идеальный отчёт — нет. Он всё ещё ошибается, зацикливается и не видит сложной логики.
Но 87% на CTF — это не цифра, это приговор статическому анализу. Semgrep, CodeQL и прочие SonarQube уходят на покой. Вопрос не в том, заменит ли Mythos пентестеров, а когда они начнут его использовать как основного помощника.
Мы уже писали про "Claude Mythos Preview: как AI находит уязвимости". Теперь Preview получил независимую оценку. Следующий шаг — появление Mythos в публичном доступе. И тогда защита сайтов станет либо космически дорогой, либо полностью автоматизированной.
А пока — готовьтесь к тому, что на следующем Def Con хакеры будут не писать эксплойты вручную, а просто подавать команды своему AI-ассистенту. И сражаться они будут не друг с другом, а с ботами, которые тоже используют Mythos. Добро пожаловать в 2026.
