Представьте, что вы просите нейросеть объяснить разницу между LFP и ECoG сигналами, или спроектировать простейший интерфейс мозг-компьютер для управления курсором. Большинство моделей начнет генерировать гладкий, общий текст. Но где гарантия, что это не просто красивая галиматья?
Ответ пришел с Hugging Face. На этой неделе исследовательская группа NeuroAI Lab выкатила NeuroBench — специализированный эвалюатор для проверки знаний LLM в области нейронауки и BCI (интерфейсов мозг-компьютер). Это не очередной MMLU или HumanEval. Это 500 вопросов, составленных нейробиологами: от интерпретации графиков активности нейронов до проектирования экспериментальных парадигм для декодирования моторных команд.
Правила игры: никаких поблажек
Тест жесткий. Zero-shot контекст. Вопросы смешанного типа: множественный выбор, открытые ответы, требующие рассуждений. Оценка автоматическая плюс проверка экспертами для открытых заданий. И самое главное — никакого доступа в интернет во время теста. Модели полагаются только на свои внутренние знания, зашитые в весах во время предобучения.
Актуальность данных: Все результаты приведены по состоянию на 08.02.2026. Тестировались последние доступные версии моделей: LLaMA 3.2 70B (инструктивная), GPT-4o (2025-11-20 релиз), Claude 3.5 Sonnet (2025-10), Qwen2.5-MoE-A2.7B, и другие. Устаревшие версии (GPT-4 Turbo, LLaMA 2) в сравнение не включены.
Таблица результатов: сюрприз на первом месте
| Модель | Тип | Общий балл | Фактология | Рассуждения |
|---|---|---|---|---|
| GPT-4o | Закрытая (frontier) | 89.2% | 92.1% | 85.4% |
| LLaMA 3.2 70B | Открытая | 87.8% | 90.5% | 84.2% |
| Claude 3.5 Sonnet | Закрытая | 85.1% | 88.7% | 80.9% |
| Qwen2.5-MoE-A2.7B | Открытая (MoE) | 83.5% | 86.0% | 80.1% |
| Mixtral 8x22B | Открытая (MoE) | 81.0% | 84.3% | 76.8% |
Разрыв между лидером GPT-4o и открытой LLaMA 3.2 70B — всего 1.4 процентных пункта. Это не ошибка округления. В задачах на фактологию (названия структур мозга, типы нейротрансмиттеров, принципы работы МРТ) LLaMA 3.2 практически догнала frontier-модель. Провал случался в сложных многоступенчатых рассуждениях, где нужно было, например, предсказать результат эксперимента при изменении двух параметров одновременно.
Темная лошадка: как Qwen2.5-MoE-A2.7B уделала гигантов
Настоящий шок — результат Qwen2.5-MoE-A2.7B. Модель с архитектурой Mixture of Experts и номинальным размером в 2.7B активируемых параметров набрала 83.5%, обогнав Mixtral 8x22B и вплотную подобравшись к Claude 3.5 Sonnet.
Как так? Архитектура MoE здесь работает на полную. Вопросы по нейронауке, судя по всему, попадают в «экспертные» блоки модели, которые были хорошо натренированы на соответствующей научной литературе. Получается эффективное распределение ресурсов: вместо того чтобы быть мастером на все руки, модель держит под рукой узких специалистов. Это подтверждает тренд, который мы уже видели в тестах на ARC-AGI — размер не всегда главное.
Где споткнулись гиганты? Анализ ошибок
Даже GPT-4o лажала. Классическая ошибка — путаница в временных характеристиках сигналов. Модель могла правильно назвать, что такое потенциал действия, но ошибалась в его длительности на порядок (миллисекунды против микросекунд). LLaMA 3.2 чаще «галлюцинировала» названиями реальных научных статей, приписывая несуществующие работы известным авторам.
Самое слабое место у всех — вопросы, связанные с обработкой и анализом нейрофизиологических данных (пайплайны для fMRI, артефакты в EEG). Видимо, эта информация реже встречается в чистых текстах для предобучения и требует больше специализированных данных, вроде кода или технической документации.
Важный нюанс: Тест проверяет знания, а не способность рассуждать «с нуля» в новой ситуации. Модель, натренированная на учебниках по нейронауке, пройдет его лучше, чем более умная, но видевшая меньше специализированных текстов. Это не универсальный тест на интеллект, а именно доменный бенчмарк.
Что это значит для будущего?
Результаты NeuroBench ломают несколько стереотипов.
- Разрыв закрывается. В узких, но важных научных доменах современные открытые модели (LLaMA 3.2) уже сегодня — достойная альтернатива дорогим закрытым API. Особенно если учесть возможность квантования и тонкой настройки под свои нужды.
- Эра MoE. Успех Qwen2.5-MoE — сигнал для индустрии. Архитектура Mixture of Experts, особенно в связке с эффективными инференс-движками, позволяет создавать невероятно компетентные в конкретных областях модели, которые при этом остаются экономичными в эксплуатации.
- Специализация против универсальности. Мы приближаемся к моменту, когда для бизнеса будет выгоднее держать набор небольших, но сверхнатренированных доменных моделей, чем одну гигантскую универсальную. Это напрямую связано с прагматичным подходом к внедрению LLM.
NeuroBench — это не финальный вердикт. Это первый качественный инструмент для измерения реальной экспертизы в критически важной области. Теперь у исследователей есть метрика, чтобы оценить, насколько хорошо их дообученная модель понимает мозг. И судя по всему, в ближайшие месяцы мы увидим на Hugging Face множество моделей с припиской «fine-tuned on NeuroBench». Гонка доменного интеллекта только началась.
P.S. Если после этой статьи вы задумались о том, чтобы запустить LLaMA 3.2 70B у себя, но пугает стоимость железа, не спешите с выводами. Возможно, вам хватит и двух видеокарт, как в истории про сборку локальной LLM-машины. А может, и вовсе стоит присмотреться к маленьким, но злым MoE.
