Ник Каммарата, бывший исследователь OpenAI, опубликовал эссе с интерактивными визуализациями, в котором пересматривает выводы о внутреннем устройстве нейросетей, которые ранее сам помогал обосновывать. Его прежние работы поддерживали идею суперпозиции: нейроны запутаны, и каждый кодирует множество несвязанных признаков. Теперь он утверждает, что эта картина в основном неверна.
Предварительная оценка его команды: около 90% нейронов в Qwen3 32B имеют одну основную функцию. Похожие результаты получены на моделях вплоть до триллионного масштаба Kimi K3, причём с ростом размера специализация нейронов усиливается. Если вывод подтвердится, интерпретировать модели можно будет напрямую, изучая нейроны и их взаимодействия, без отдельной модели-декодера вроде sparse autoencoders.
На практике это меняет инструментарий аудита. Вместо аппроксимаций, которые привносят собственные искажения, появляется шанс смотреть на реальные активации. Но пока опора одна: эссе с визуализациями и разбором архитектур, а полноценная техническая статья команды ещё ожидается.
Что изменилось в понимании работы нейронов
Прежнее объяснение хаоса в нейронах строилось на двух допущениях: признаки в сети перекрываются, а инструменты анализа показывают реальную картину. Оба допущения Каммарата теперь оспаривает.
Ключевые выводы исследования
- Нейроны специализированы. Большая часть нейронов в современных моделях отвечает за один понятный признак или операцию, а не за смесь несвязанных понятий.
- Старые данные о запутанности оказались артефактом. Полисемантичность, которую фиксировали в ранних сетях, во многом возникала из-за слабых архитектур и ограничений инструментов визуализации, а не из-за свойств самих нейронов.
- Хрестоматийный пример развалился. Нейрон, который, как считалось, реагировал и на кошачьи морды, и на автомобильные решётки, при более точном анализе оказался детектором V-образных форм.
Третий пункт заслуживает отдельного разбора: именно кейс с мордами и решётками годами приводили как главное доказательство полисемантичности.
Почему это важно для интерпретируемости
Механистическая интерпретируемость до сих пор шла обходным путём. Пока нейроны считались запутанными, исследователи обучали отдельные модели-декодеры, в первую очередь sparse autoencoders, которые раскладывают активации на разреженные признаки. Такой декодер тоже нейросеть, поэтому он привносит свои искажения и требует обучения на большом объёме собранных активаций.
Если нейроны действительно специализированы, надобность в посреднике снижается: функцию нейрона можно определить по его отклику на подготовленный набор примеров. Это дешевле по вычислениям и точнее, потому что между исследователем и целевой моделью больше нет второй модели.
Как раньше объясняли хаос в нейронах: суперпозиция и её ограничения
Суперпозиция описывает ситуацию, когда сеть представляет признаков больше, чем у неё есть измерений. Признаки перекрываются, и один нейрон начинает реагировать на несколько несвязанных вещей: например, на лица, на код и на название города. Гипотеза хорошо объясняла наблюдения в ранних моделях, поэтому её быстро приняли как универсальное свойство нейросетей, а не как особенность конкретных архитектур.
Пример с кошачьими мордами и решётками
Классический кейс: нейрон давал высокую активацию на фотографиях кошачьих морд и на изображениях автомобильных решёток. Логика интерпретации выглядела железной. Общего между мордой и решёткой нет, значит нейрон кодирует сразу два понятия, значит представления перепутаны. Новые инструменты визуализации показали, что общий признак всё же есть: и в одном, и в другом изображении присутствуют V-образные формы, и нейрон реагирует именно на них. Перед нами не смесь понятий, а детектор одной геометрической структуры, которая случайно встречается в двух разных классах объектов.
Почему суперпозиция казалась универсальной
Ранние модели были небольшими, их скрытые слои не могли выделить достаточно измерений под каждый признак, и перекрытие действительно возникало. Визуализация того времени работала на низком разрешении, показывала единичные яркие примеры и почти не учитывала контекст, в котором нейрон активировался. Суперпозиция объясняла то, что видели исследователи, и вопрос о качестве метода наблюдения почти не поднимался. Отсюда и вывод, растянутый на все сети без проверки на крупных архитектурах.
Новые методы визуализации и их роль в открытии
Ключевое отличие работы Каммараты в инструментах. Вместо одного набора примеров команда анализирует распределение активаций нейрона на большом числе входов и выделяет признак, который максимально объясняет отклик. Так специализация становится измеримой величиной, а не впечатлением от картинки.
Интерактивные визуализации в эссе
В самом эссе собраны интерактивные графики, где можно посмотреть активации конкретных нейронов на разных входах и убедиться, что основная реакция приходится на один тип признака. Такой формат полезен и как инструмент проверки: читатель видит данные, а не пересказ выводов. Если подход устоится, подобные панели визуализации могут стать штатной частью аудита моделей наряду с бенчмарками.
Ошибки старых инструментов
Артефакты прошлых лет объясняются тремя факторами. Недостаточное разрешение метода: нейрон проверяли на десятках примеров, где нужны тысячи. Игнорирование контекста: отклик оценивали вне окружения, в котором он возникает. Слабая архитектура самой модели: небольшая сеть вынуждена смешивать признаки, и это смешение затем выдавалось за общее свойство нейронов. По данным автора, многие выводы о полисемантичности были следствием этих ограничений.
Специализация нейронов растёт с размером модели
Самый контринтуитивный пункт эссе: чем крупнее модель, тем понятнее её внутреннее устройство. Обычно предполагают обратное, ведь у больших сетей больше слоёв и параметров, а значит и больше сложности для анализа.
Данные по Qwen3 32B и Kimi K3
Оценка в 90% для Qwen3 32B предварительная, но получена по анализу активаций, а не по единичным примерам. На модели Kimi K3 триллионного масштаба картина похожая, и специализация там не размывается.
| Модель | Масштаб | Что сообщается о нейронах |
|---|---|---|
| Qwen3 32B | 32 млрд параметров | около 90% нейронов имеют одну основную функцию |
| Kimi K3 | триллионный масштаб | похожие результаты, специализация усиливается с ростом модели |
Цифры стоит воспринимать как предварительную оценку, а не как измеренную константу: методика подсчёта «одной основной функции» у разных групп может отличаться, и без опубликованной технической статьи воспроизвести её пока нельзя.
Почему это меняет подход к масштабированию
Если крупные модели дают более чистые нейроны, интерпретация перестаёт быть отдельной научной надстройкой над обучением. Проверку поведения можно встраивать в цикл разработки: смотреть, какие нейроны включаются на нежелательных примерах, и точечно работать с ними. Для команд, которые обучают модели на своих данных, это потенциально означает более быструю отладку и меньше зависимости от внешних декодеров.
Последствия для безопасности AI
Автор эссе связывает результаты напрямую с безопасностью. Видимое внутреннее устройство модели позволяет искать проблемы не по внешним симптомам, а по конкретным механизмам, которые эти симптомы производят.
Обманчивые рассуждения и их обнаружение
Если модель выдаёт одно объяснение, а внутри работает по другой логике, это расхождение может проявляться в активациях отдельных нейронов. При прямом доступе к ним появляется шанс отмечать такие случаи и строить мониторинг не только по тексту ответа. Отдельный вопрос, насколько устойчив сам канал наблюдения: когда часть вычислений уходит в промежуточные состояния, читаемые цепочки рассуждений перестают быть надёжным инструментом контроля, и история с recurrent depth в Astra показывает, почему специалисты по безопасности следят за этим трендом. Разбор того, как обученные на этике модели искажают оценки ради защиты других систем, собран в материале про парадокс безопасности Anthropic.
Неудачная среда обучения
Второй сценарий проще и ближе к практике. Если в обучающих данных перекос или скрытый конфликт инструкций, это отражается в специализированных нейронах, которые включаются на определённые темы. Такие нейроны можно найти, пометить и либо переобучить, либо ограничить их влияние. Прямое изучение тут даёт точечную диагностику вместо сплошного тестирования промптами.
Оговорка важная: автор говорит о возможности находить проблемы, а не о готовом решении. Интерпретация указывает, где смотреть, но не гарантирует, что найденную функцию легко исправить без потери качества модели на других задачах.
Прямое изучение нейронов против sparse autoencoders
Популярность sparse autoencoders выросла именно из идеи полисемантичности. Если один нейрон кодирует десятки признаков, разложить активации на понятные компоненты напрямую не выходит, и в дело вступает отдельная обученная модель.
Как работают sparse autoencoders
Автоэнкодер обучается на активациях целевой модели и пытается описать их небольшим числом разреженных признаков: типичные конфигурации укладываются в тысячи направлений, из которых на конкретном входе активна лишь малая часть. Метод дал заметные результаты, но у него есть структурная слабость. Декодер обучен на статистике активаций, поэтому его признаки описывают модель приближённо, а связь между найденным направлением и реальным механизмом приходится доказывать отдельно.
Преимущества прямого подхода
Прямое изучение нейронов экономит ресурсы: не нужно собирать миллионы активаций и обучать вторую сеть. Результат получается ближе к исходной модели, потому что наблюдение идёт по её собственным нейронам, а не по их реконструкции. Цена подхода в другом: он опирается на качественные инструменты визуализации и на аккуратную методику проверки признаков, иначе легко повторить ошибку 2020-х годов с V-образными формами. Для узких задач, где нужно разложить сложные полисемантичные представления, автоэнкодеры остаются рабочим вариантом.
Что дальше: ожидания и ограничения
Статус работы стоит держать в голове при чтении любых громких выводов по этой теме: эссе опубликовано с визуализациями, а полноценная техническая статья команды ещё не вышла.
Необходимость независимой проверки
Пока это одно исследование, пусть и от специалиста с репутацией в механистической интерпретируемости. Ключевые числа, включая 90% для Qwen3 32B, требуют повторения другими группами на других архитектурах: смеси экспертов, модели с разреженным вниманием, reasoning-варианты с длинными цепочками вычислений. Отдельно нужно проверить, насколько методика устойчива к выбору датасета примеров.
Потенциальное влияние на индустрию
Если результат подтвердится, изменится не только наука об интерпретации, но и процедуры приёмки моделей. Аудит внутренних механизмов может стать обязательным этапом перед выпуском, а инструменты визуализации превратятся из исследовательских скриптов в часть инженерного стека. Для пользователей локальных LLM это тоже значимо: методы, которые не требуют обучения дополнительных моделей, дешевле повторить на своём железе. До подтверждения разумная стратегия простая: следить за публикацией технической статьи и проверять новые заявления на воспроизводимость, а не переносить предварительные оценки в продакшен-решения.