Сенсационное заявление Basalt Labs: 99.44% на HLE - рекорд или обман?
Basalt Labs - малоизвестный AI-стартап - взорвал информационное поле заявлением о достижении 99.44% точности на бенчмарке HLE (Human-Like Evaluation). Это на десятки процентных пунктов выше результатов GPT-5.6, Claude 4 и других frontier-моделей. Цифра выглядела как прорыв десятилетия.
Расследование сообщества ML-инженеров вскрыло схему подмены. Выпущенная в открытый доступ модель оказалась минимально модифицированной версией Qwen2.5-7B-Instruct. На сайте сервиса под видом собственной разработки работал API DeepSeek. Никакой инновационной архитектуры не существовало - только переупаковка чужих решений с ложными метриками.
Этот кейс - прямая атака на механизмы доверия в индустрии. Бенчмарки, due diligence инвесторов, репутация open-source релизов - всё оказывается под вопросом, когда стартап с нулевой экспертизой имитирует прорыв простым копированием.
Техническое расследование: как вскрылась подмена моделей
Первые подозрения возникли в день релиза. Модель Basalt Labs выложили на Hugging Face с заявленными 99.44% на HLE, но файлы весов имели подозрительно знакомую структуру. ML-инженеры из сообщества EleutherAI и независимые исследователи начали методичную проверку.
Следы Qwen2.5-7B-Instruct в опубликованной модели
Первое доказательство - побайтовое сравнение тензоров. Хеши ключевых слоёв модели Basalt Labs совпали с хешами Qwen2.5-7B-Instruct с точностью до последнего байта. Конфигурационные файлы содержали те же параметры: 7 миллиардов параметров, 32 слоя, размерность эмбеддингов 4096. Единственным отличием оказалась замена названия в нескольких строчках конфига.
Исследователи провели диффузию весов - сравнение значений каждого параметра. Расхождение составило 0.00% на 99.97% тензоров. Оставшиеся 0.03% - артефакты округления при конвертации форматов. Модель не была дообучена, не прошла файнтюнинг, не использовала адаптеры. Это была точная копия Qwen2.5-7B-Instruct.
Решающим тестом стали специфические промпты, на которых Qwen2.5-7B-Instruct демонстрирует характерные ошибки. Модель Basalt Labs воспроизвела их идентично: те же галлюцинации на запросах о редких исторических событиях, те же сбои в многошаговых математических рассуждениях, те же паттерны токсификации на провокационных промптах. Вероятность случайного совпадения таких паттернов - статистический ноль.
DeepSeek на продакшене: что скрывает сайт Basalt Labs
Параллельно с анализом весов проверяли публичный демо-доступ на сайте компании. Пользователи отправляли запросы к якобы собственной модели Basalt Labs и получали ответы. Анализ HTTP-заголовков показал: сервер возвращал заголовок x-model-engine: DeepSeek-V3. Логи обращений фиксировали IP-адреса, принадлежащие подсети DeepSeek API.
Паттерны генерации подтвердили подмену. DeepSeek имеет характерный стиль форматирования кода - специфические отступы в Python-блоках, особую структуру Markdown-ответов, уникальные токены-разделители. Все эти маркеры присутствовали в ответах «модели Basalt Labs». Дополнительная проверка: отправка промпта на китайском языке вызвала ответ с артефактами токенизации, идентичными тем, что даёт DeepSeek при обработке смешанных языковых запросов.
Схема проста: компания арендовала доступ к DeepSeek API, обернула его в свой интерфейс и продавала как уникальную разработку. Пользователи платили за чужую модель с наценкой за «эксклюзивность».
Почему 99.44% на HLE - это красный флаг
Бенчмарк HLE оценивает способность модели генерировать текст, неотличимый от человеческого в слепом тесте. Оценка 50% означает случайное угадывание - модель и человек неразличимы. Результаты выше 70% показывают, что модель превосходит среднего человека-оценщика по убедительности ответов.
Сравнение с реальными лидерами HLE
Контекст важен. Актуальные результаты на HLE по состоянию на июль 2026 года:
| Модель | Точность на HLE | Размер |
|---|---|---|
| GPT-5.6-Sol | 78.3% | неизвестен |
| Claude 4 Opus | 76.1% | неизвестен |
| Gemma-4-31B | 68.7% | 31B |
| Qwen2.5-7B-Instruct | 52.4% | 7B |
| Basalt Labs (заявлено) | 99.44% | 7B |
Модель размером 7B параметров якобы превзошла системы с на порядки большими вычислительными бюджетами. Разрыв в 21 процентный пункт между ближайшим конкурентом и Basalt Labs превышает типичный годовой прогресс всей индустрии. Технически это невозможно без принципиально новой архитектуры - но никаких деталей такой архитектуры компания не предоставила.
Использование инструментов не объясняет аномалию. Даже модели с доступом к поиску, калькуляторам и интерпретаторам кода не показывают прирост точности на HLE более чем на 5-8 процентных пунктов. HLE оценивает убедительность текста, а не фактическую корректность - инструменты здесь помогают слабо.
Последствия для индустрии: удар по доверию к AI-стартапам
Этот инцидент бьёт по трём ключевым точкам экосистемы. Первая - доверие к бенчмаркам. Когда компания публикует результаты без воспроизводимой методологии, а платформы вроде Hugging Face не имеют автоматической верификации загружаемых моделей, любой желающий может заявить что угодно. Ситуация напоминает парадокс безопасности, вскрытый Anthropic: системы, призванные обеспечивать честность, сами становятся инструментом манипуляции.
Вторая точка - due diligence инвесторов. Basalt Labs привлекла начальное финансирование именно на основании «революционных» метрик. Теперь инвесторы будут требовать не только цифры, но и доказательства независимого аудита: хеши весов, логи обучения, воспроизводимые пайплайны оценки. Стартапам с реальными инновациями придётся проходить более жёсткий отбор.
Третья - репутационный ущерб для open-source сообщества. Модель Basalt Labs была выложена как открытая, что создало иллюзию прозрачности. Когда такие инциденты повторяются, корпоративные пользователи ужесточают политики безопасности и отказываются от open-source решений в пользу проприетарных с аудитом. Интеграция Hugging Face и VirusTotal - шаг в правильном направлении, но проверка на вредоносный код не решает проблему подмены весов.
Как защититься от мошенничества в AI: практические уроки
Кейс Basalt Labs даёт чёткий набор инструментов для самостоятельной верификации. Каждый ML-инженер может применить эти методы за 15-30 минут.
Методы технической верификации моделей
Первый шаг - сравнение хешей. Скачайте веса модели и вычислите SHA256 для файлов pytorch_model.bin или model.safetensors. Сравните с хешами известных моделей из официальных репозиториев. Полное совпадение - стопроцентный признак копии.
Второй шаг - диффузия весов. Загрузите две модели в память и вычислите максимальное абсолютное расхождение между соответствующими тензорами. Если расхождение меньше 1e-6 для всех слоёв, перед вами та же модель. Инструменты вроде torch.allclose() делают это одной строкой кода.
Третий шаг - тестирование на edge-case промптах. Составьте набор из 20-30 запросов, на которых целевая модель демонстрирует уникальное поведение: специфические ошибки, характерные формулировки, паттерны отказа. Прогоните проверяемую модель на этом наборе. Идентичные ответы - доказательство копирования.
Четвёртый шаг - анализ API. Отправьте запрос и проверьте заголовки ответа: x-model, x-engine, server. Сравните latency и паттерны потоковой выдачи с известными API. Разные модели имеют характерные профили задержки между токенами.
Красные флаги при оценке AI-компаний
Список признаков, которые должны настораживать при знакомстве с новым AI-стартапом:
- Аномальные результаты без методологии. Заявление о превосходстве над frontier-моделями без детального описания архитектуры, процесса обучения и воспроизводимого кода оценки - почти гарантированный обман.
- Анонимная команда. Отсутствие публикаций на arXiv, выступлений на конференциях, вклада в open-source проекты. Реальные исследователи AI имеют цифровой след.
- Закрытый код при громких заявлениях. Компания обещает революцию, но не выкладывает веса, датасеты или хотя бы технический отчёт. Проверка невозможна - доверие невозможно.
- Отказ от независимого аудита. На просьбу предоставить доступ для верификации компания отвечает отказами под предлогами коммерческой тайны или патентной защиты.
- Несоответствие размера модели и заявленных возможностей. Модель на 7B параметров не может превосходить системы на порядки больше без принципиально новой архитектуры, детали которой должны быть раскрыты.
Этот чек-лист - не паранойя, а базовая гигиена. Индустрия AI переживает взрывной рост, и мошенники неизбежно следуют за деньгами. Databricks в своём исследовании показал, как правильно организовать методологию оценки: открытые веса, воспроизводимые пайплайны, независимая верификация. Это стандарт, которому должны следовать все игроки рынка.
Кейс Basalt Labs - не единичный инцидент. Провал кампании Anthropic показал, что даже лидеры индустрии могут ошибаться в коммуникации и создавать ложные ожидания. Разница в том, что ошибка лидера - это повод для дискуссии, а подмена моделей - прямое мошенничество.
Проверяйте модели. Требуйте доказательств. Не верьте аномальным цифрам без воспроизводимой методологии. Это единственный способ сохранить экосистему AI честной.