19 октября 2026 года Ник Каммарата, исследователь AI-стартапа Goodfire, выложил пост на 26 000 слов. Тезис: языковые модели могут оказаться существенно проще для понимания, а значит и для мониторинга и контроля, чем считалось до сих пор. В источнике формулировка осторожная - «might in fact be far easier to understand», но обсуждать текст начали так, будто вопрос уже закрыт.
Реакция разделилась. Одни назвали материал «крупным моментом в научной истории» и «самой важной AI-статьёй года», другие отнеслись сдержанно. Крис Поттс из Стэнфорда, руководящий командой по изучению работы LLM, заявил, что опубликованное - «little more than a hunch», и добавил: «nothing about this blog post makes the problems any easier». Сам Каммарата удивился масштабу: «I didn’t expect people to update [their beliefs about AI] quite as much as they did».
Для практика важны границы заявленного. Это гипотеза и концептуальная рамка: автор признаёт, что выводы не решают всех проблем, а технические результаты по современным LLM ещё не опубликованы. Ниже - что именно утверждается, на каком примере держится аргумент, чего не хватает критикам и что из этого следует для тех, кто работает с моделями каждый день.
Что случилось: 26 000 слов, которые встряхнули AI-сообщество
Пост вышел 19 октября 2026 года и за сутки собрал реакции от восторженных до скептических. MIT Technology Review описывает ситуацию фразой «sparking wild speculation as well as cautious (and not-so-cautious) celebration». Спор идёт не о качестве текста, а о том, можно ли считать гипотезу о «читаемых» нейросетях научным результатом.
Кто такой Ник Каммарата и при чём тут Goodfire
Каммарата работает в Goodfire, AI-стартапе, который занимается интерпретируемостью. До этого он был в OpenAI, где участвовал в развитии методов, позволяющих заглядывать внутрь моделей, включая инструменты для исследования отдельных нейронов. Такая биография объясняет, почему 26 тысяч слов не остались в личных блогах: автор разбирается в теме изнутри.
В 2020 году Каммарата с коллегами изучал небольшую модель распознавания изображений Inception v1 и нашёл нейрон, который реагировал и на фотографии машин, и на фотографии котов. Этот пример вошёл в канон mechanistic interpretability и до сих пор цитируется как иллюстрация того, насколько странно устроены обученные сети.
Почему пост вызвал такой ажиотаж
Причина в дефиците контроля. «The AI industry is desperate to get a better handle on the technology it has built», так формулирует контекст MIT Technology Review. Гипотеза, обещающая более простое внутреннее устройство моделей, попадает в самую болезненную точку: компании выпускают системы, поведение которых не могут полностью объяснить.
Второй фактор - статус направления. Mechanistic interpretability попало в список 10 самых горячих технологий 2025 года по версии MIT Technology Review. Интерес к теме подогрет признанием, а признание создаёт ожидание прорыва там, где идёт медленная работа.
Базовые понятия: что такое интерпретируемость LLM и mechanistic interpretability
Интерпретируемость LLM - возможность понять, почему модель выдала конкретный ответ и какие внутренние признаки за этим стоят. Mechanistic interpretability идёт дальше: разбирает сеть на механизмы, то есть на нейроны, признаки и цепи, из которых складывается вычисление. Это реверс-инжиниринг, а не генерация объяснений на словах, которой занимается прикладной XAI.
Аналогия простая. Представьте работающий калькулятор без документации, и задачу понять, как он считает. Можно наблюдать за входом и выходом, а можно вскрыть корпус и проследить, какие дорожки загораются при умножении. Второй путь и есть mechanistic interpretability, и он дороже.
Нейрон, признак и суперпозиция - на пальцах
Нейрон в понимании интерпретируемости - отдельный элемент сети с собственной активацией. Признак - свойство входа, на которое этот элемент реагирует. Проблема в арифметике: признаков больше, чем нейронов, измерений в слое меньше, чем различий, которые нужно закодировать. Сеть вынуждена хранить несколько признаков в одном нейроне, и такое совмещение называют суперпозицией.
Классический пример - тот самый нейрон Inception v1, реагировавший на машины и на котов. Выглядит абсурдно: два несвязанных класса в одном элементе. Из этого наблюдения выросла влиятельная идея, что нейроны полисемантичны, то есть отвечают сразу за несколько разных понятий, и читать сеть «по нейронам» нельзя.
Деталь, которую легко пропустить: «нейрон реагирует на машины и котов» - наблюдение о корреляции. Оно не объясняет, какой именно признак кодируется. Между «реагирует на X» и «хранит признак X» лежит вся сложность задачи.
Почему нейросети считаются непонятными
Долго считалось, что механизмы внутри обученных сетей очень трудно, а возможно и невозможно, распутать полностью. Причина: после обучения сети приобретают «странные, запутанные структуры», которые не имеют смысла для человека. Это исходная позиция, которую оспаривает Каммарата.
В обсуждениях встречается сравнение: современный ИИ «выращивают как сад, а не строят как мост». У моста есть чертёж и спецификация, у обученной модели есть только результат оптимизации. Когда чертежа нет, единственный способ понять конструкцию - вскрывать её постфактум.
Что именно предлагает Каммарата: переосмысление «нейрона машин и котов»
Ядро гипотезы: внутреннее устройство моделей может быть устроено понятнее, чем показывает пример с полисемантичным нейроном. Если признаки, которые выучивает сеть, абстрактнее и геометричнее названий классов на человеческом языке, то «машины и коты в одном нейроне» - ошибка нашей разметки, а не приговор интерпретируемости.
От «нейрона машин и котов» к детектору формы
По описанию дискуссии, Каммарата переосмыслил тот нейрон как детектор V-образной формы: машины и коты попали в выборку потому, что в их изображениях есть похожая геометрия. Логика такая: «нейрон реагирует на машины и котов» и «нейрон хранит два несвязанных понятия» - разные утверждения. Возможно, он ловит общий низкоуровневый признак, а названия классов мы приписали сами.
Детали этого переосмысления в доступном изложении источника не раскрыты: текст обрывается на выводе исследователей 2020 года. Поэтому историю с V-образной формой стоит воспринимать как формулировку гипотезы, а не как воспроизведённый результат.
Если допущение верно, картина меняется. Признаки оказываются абстрактнее и чище, чем предполагала модель суперпозиции, а значит читать сеть можно напрямую, изучая нейроны и их взаимодействия, без отдельного декодера. Один переинтерпретированный нейрон в маленькой модели для картинок до такого вывода не дотягивает: перенос на LLM требует отдельной проверки.
Чего в посте пока нет: результатов по современным LLM
Сам Каммарата признаёт: выводы не решают всех проблем, а технические результаты по современным LLM ещё предстоит опубликовать. Это ограничение меняет жанр текста. 26 000 слов - концептуальная рамка и приглашение к дискуссии, а не отчёт об эксперименте.
Отсюда практическое следствие: пересказы в духе «интерпретируемость решена» опережают источник. Пока нет опубликованных технических результатов, гипотеза остаётся гипотезой, даже если убедительно объясняет старый пример.
Почему исследователи спорят: аргументы критиков
Основная претензия звучит просто: нет строгой оценки. Крис Поттс из Стэнфорда называет опубликованное «little more than a hunch» и говорит, что пост не делает проблемы проще. Это оценка статуса текста, а не отказ гипотезе в интересности.
«Гипотеза, а не результат»: претензия к отсутствию оценки
Разница между постом-размышлением и научным результатом видна по набору признаков. Есть ли метрика, которую можно воспроизвести? Есть ли эксперимент, который повторит независимая команда? Проверено ли утверждение на современных моделях, а не только на маленькой сети для картинок? Для поста Каммараты ответы на эти вопросы пока отрицательные, и именно на это указывают критики.
Отсутствие оценки не обнуляет ценность гипотезы. Оно задаёт ей место в очереди: сначала публикация технических результатов, потом проверка, потом разговоры о смене парадигмы.
Нейроны - лишь малая часть задачи понимания LLM
Второй аргумент содержательнее первого. Даже если каждый нейрон окажется «читаемым», остаётся вопрос, как из активаций складывается ответ. Между отдельным элементом и поведением модели лежат цепи, слои, механизмы внимания и динамика всего стека. По описанию дискуссии, на это указывают Джейкоб Хилтон из ARC и Нил Нанда из Google DeepMind, причём развёрнутых публичных цитат с их стороны в доступном изложении нет.
Проще говоря: расшифровать буквы ещё не значит прочитать книгу. Интерпретация нейрона даёт словарь, интерпретация вычисления даёт смысл. Гипотеза Каммараты бьёт по первому уровню и почти не касается второго.
Что интерпретируемость реально даёт для контроля и мониторинга LLM
Заявка Каммараты - про управляемость. Если внутреннее устройство читается, можно ловить нежелательное поведение, отлаживать сбои и проверять, что модель выучила. Связь с AI safety здесь очевидна, но её легко преувеличить.
Где интерпретируемость полезна уже сейчас
Практические направления, где такой анализ применим:
- аудит поведения модели на предмет нежелательных ассоциаций;
- отладка странных ответов, когда логов и промптов недостаточно;
- проверка модели перед деплоем, особенно в чувствительных сценариях;
- разбор причин, почему модель устойчиво ошибается на конкретном типе входа.
Задачи реальные, но для больших моделей инструменты пока незрелые. Публичных воспроизводимых результатов по LLM в посте Каммараты нет.
Где заканчивается гипотеза и начинается инженерия
Разделение на три уровня помогает не путаться. Концептуальная гипотеза: пост Каммараты об устройстве моделей. Исследовательские инструменты: направление mechanistic interpretability, где работают методы анализа нейронов и проверки признаков. Продуктовая практика: то, что можно поставить в пайплайн сегодня, и здесь выбор невелик.
Готового механизма контроля над ИИ из интерпретируемости пока не получилось. Обещать «полный контроль» на основании поста не стоит: тема рисков и пределов такого контроля разобрана отдельно в материале о том, может ли ИИ уничтожить человечество и какие механизмы риска обсуждаются всерьёз.
Насколько зрело направление: контекст и реалистичные ожидания
С одной стороны, признание: mechanistic interpretability в списке 10 самых горячих технологий 2025 года по версии MIT Technology Review. С другой - базовые вопросы остаются открытыми. Суперпозиция и полисемантичность описаны, но не решены; единого метода, который даёт полную карту большой модели, нет.
Пост Каммараты в этой картине - точка в дискуссии, а не перелом. Он ставит под сомнение интерпретацию конкретного старого примера и предлагает смотреть на признаки абстрактнее. Для направления это полезно: даже если гипотеза не подтвердится, спор заставляет точнее формулировать, что именно мы называем признаком.
Почему громкие заявления об ИИ стоит проверять по чек-листу
Список вопросов, который работает для любого громкого поста и для кейса Goodfire в частности:
- Есть ли рецензирование или хотя бы препринт с описанием методологии?
- Есть ли воспроизводимый эксперимент с метриками?
- Проверено ли утверждение на современных моделях, а не только на игрушечных?
- Признаёт ли автор ограничения сам, или оговорки добавляют только критики?
- Совпадает ли масштаб реакции с масштабом доказательств?
По этому списку пост Каммараты набирает баллы за честность: автор признаёт, что технические результаты по современным LLM ещё не опубликованы. В доказательности он проигрывает. Это нормальный профиль исследовательской гипотезы. Проблема начинается, когда гипотезу пересказывают как открытие.
Что это значит для практиков и пользователей локальных LLM
Для повседневной работы с локальными моделями пост не меняет ничего. Inference, квантизация, расчёт VRAM, выбор модели под задачу остаются прежними: гипотеза о читаемости нейронов не влияет на скорость генерации и не снижает требования к памяти.
Для тех, кто отлаживает модели, строит RAG и агентов, польза косвенная, но реальная. Понимание того, какие признаки активируются, помогает диагностировать странное поведение: повторяющиеся ответы, утечку системной инструкции, срабатывание на безобидный триггер. Пока это удел исследовательских инструментов, а не штатных функций inference-серверов, и ждать готового «просмотрщика мыслей» в llama.cpp не стоит.
Практический вывод простой: следите за публикацией обещанных технических результатов по современным LLM. Это и будет проверкой гипотезы. Если команда покажет воспроизводимый метод, который читает нейроны в большой языковой модели и предсказывает её поведение, разговор перейдёт из плоскости веры в плоскость инженерии. До того момента относитесь к 26 000 слов как к сильной, но непроверенной идее.