На любой вопрос - про квантовую физику, финансовый анализ или рецепт борща - модель catmind-1.2b отвечает историей о котах. Не метафорой, не аналогией, а полноценным нарративом про пушистых персонажей, никак не связанным с запросом. За этим мемом стоит конкретный исследовательский вопрос: способна ли языковая модель рассуждать «про себя», не отражая процесс мышления в выходных токенах? Эксперимент дал однозначный ответ: нет. Точность на бенчмарке crucible рухнула с 75.6% до 24.3%, а средняя длина ответа сократилась до 1,194 токенов. Скрытое рассуждение в текущих авторегрессионных архитектурах невозможно - мышление модели неотделимо от генерируемого текста.
Что такое catmind-1.2b и почему она привлекает внимание
Catmind-1.2b - экспериментальная fine-tune модель, созданная на базе LFM2.5-1.2B-Thinking. Базовая версия представляет собой reasoning-модель, заточенную на решение задач через развёрнутые цепочки рассуждений. Автор эксперимента взял эту архитектуру и дообучил её на корпусе текстов, состоящем из историй о котах.
Результат получился провокационным. Модель игнорирует содержание запроса и стабильно генерирует повествование о кошачьих приключениях. Формально это мем, но за ним стоит нетривиальная гипотеза: если внутреннее состояние модели сохраняет информацию о задаче, то поверхностный вывод может быть любым - хоть «мяу» в каждой строчке. Catmind-1.2b стала заметной именно потому, что довела эту идею до абсурда и дала эмпирический материал для проверки.
Сообщество отреагировало предсказуемо: сотни шуток про «кошачий интеллект», генерацию котов вместо кода и первый в истории AI, прошедший тест Тьюринга на роль домашнего питомца. Однако за иронией скрывается реальный исследовательский интерес к границам внутренних представлений языковых моделей и природе их рассуждений.
Результаты тестирования: катастрофическое падение точности
Цифры говорят сами за себя. Базовая LFM2.5-1.2B-Thinking прошла бенчмарк crucible с точностью 75.6%. После fine-tune на кошачьих историях catmind-1.2b показала 24.3%. Падение более чем в три раза исключает случайность - модель систематически теряет способность решать задачи, для которых изначально проектировалась.
Средняя длина ответа сократилась до 1,194 токенов. Базовая reasoning-модель генерирует развёрнутые цепочки рассуждений на несколько тысяч токенов - это её рабочий инструмент. Catmind-1.2b выдаёт компактные истории, лишённые какой-либо логической связи с запросом. Сокращение длины ответа - не оптимизация, а симптом: модель перестала «думать» в выводе и не может компенсировать это внутренними вычислениями.
Бенчмарк crucible оценивает способность к многошаговым рассуждениям, логическому выводу и удержанию контекста. Результат 24.3% близок к случайному угадыванию для многих задач такого класса. Модель не просто генерирует другой текст - она фундаментально утратила возможность решать поставленные задачи. Наиболее вероятная причина: переобучение на узком домене разрушило reasoning-цепочки, а скрытое состояние не смогло компенсировать потерю.
Скрытое рассуждение: может ли LLM думать «про себя»?
Концепция hidden state reasoning предполагает, что языковая модель способна вести внутреннее рассуждение, не отражая его в выходных токенах. Внешне модель генерирует произвольный текст, а «в уме» решает задачу, чтобы выдать ответ позже или через отдельный механизм. Гипотеза выглядит привлекательно: разделение «мышления» и «речи» могло бы сделать модели эффективнее и скрытнее.
Эксперимент с catmind-1.2b проверил эту гипотезу напрямую. Модель заставляли генерировать текст о котах, ожидая, что скрытое состояние сохранит информацию о задаче и позволит дать правильный ответ. Результат оказался однозначным: точность рухнула. Внутреннее состояние не удержало рассуждение - переключение контекста вывода разрушило способность к решению.
Почему выходные токены неотделимы от мышления
Архитектура авторегрессионных моделей построена на последовательном предсказании токенов. Каждое следующее слово вычисляется на основе всех предыдущих - и запроса, и уже сгенерированного текста. Цепочка рассуждения формируется в этой последовательности: модель «думает вслух», потому что каждый новый токен опирается на контекст, который сама же создала.
Когда catmind-1.2b начинает генерировать историю о котах, внутреннее состояние «загрязняется». Векторы внимания смещаются в сторону семантического поля «коты, лапы, усы», и исходная задача вытесняется из актуального контекста. Механизм самовнимания (self-attention) распределяет веса между токенами, и нерелевантный вывод перетягивает ресурсы на себя. Модель физически не может одновременно удерживать решение задачи и порождать посторонний нарратив - это конфликт за одни и те же вычислительные ресурсы.
Аналогия с человеческим мышлением уместна, но ограничена. Проговаривание мыслей действительно помогает структурировать рассуждение, и переключение на постороннюю тему ломает ментальную модель. Однако человек способен вернуться к прерванной задаче, восстановив контекст из памяти. У LLM нет отдельной «памяти» вне контекстного окна - всё, что не попало в токены, потеряно безвозвратно.
Этот вывод перекликается с исследованиями в области интерпретируемости. Если вас интересует, как внутренние представления моделей соотносятся с их выходом, рекомендую разбор методов оценки уверенности LLM - от вербализованной уверенности до Modaic Probe. Там детально показано, почему полагаться на самооценку модели после RLHF опасно и какие методы дают лучшие метрики калибровки.
Практические выводы: что это значит для разработки и использования LLM
Результат catmind-1.2b - не просто академический курьёз. Он напрямую влияет на то, как мы проектируем промпты и интерпретируем поведение моделей.
Первый практический вывод касается промпт-инжиниринга. Техники chain-of-thought работают именно потому, что заставляют модель проговаривать рассуждение в токенах. Попытки «спрятать» инструкции или разделить мышление и вывод контрпродуктивны. Любое отвлечение модели нерелевантными инструкциями снижает качество решения - это не баг, а фундаментальное свойство архитектуры.
Второй вывод связан с интерпретируемостью. Мы можем читать «мысли» модели только через её выход. Скрытые состояния полезны для анализа, но ключевая информация о рассуждении содержится в сгенерированных токенах. Методы вроде representation steering, разобранные в статье про Gemma-4-31B-AntiHal, работают с внутренними представлениями, но их эффект проявляется именно в изменении выходного текста - модель не может «передумать» молча.
Третий вывод - для разработчиков. Не пытайтесь разделить рассуждение и вывод в пайплайнах. Если модели нужно решить задачу, дайте ей пространство для явной цепочки мыслей. Скрытые состояния не являются надёжным носителем для промежуточных результатов. Параллельная генерация «отвлекающего» текста и фоновое решение задачи в текущих архитектурах невозможны.
Эксперимент также поднимает вопросы о природе знаний в моделях. Если вас интересует, как модели справляются с фактической точностью и где проходит грань между знанием и галлюцинацией, обратите внимание на исследование парадоксов безопасности - как модели ИИ, обученные этике, намеренно искажают оценки. Это продолжение темы о том, насколько выходной текст модели отражает её реальное «понимание» ситуации.
Критический взгляд: ограничения и альтернативные объяснения
Эксперимент с catmind-1.2b убедителен, но не всеобъемлющ. Падение точности до 24.3% может объясняться не только невозможностью скрытого рейзонинга, но и другими факторами.
Катастрофическое забывание (catastrophic forgetting) при fine-tune - стандартная проблема. Модель, переобученная на узком домене, теряет общие способности независимо от каких-либо гипотез о скрытых состояниях. Автор не предоставил контрольный эксперимент: что будет, если обучить модель на другом нерелевантном корпусе, например, на кулинарных рецептах? Если точность упадёт сопоставимо, аргумент о специфической роли выходных токенов ослабнет.
Формат бенчмарка crucible тоже мог сыграть роль. Если задачи требовали генерации ответа в определённом формате, а модель выдавала истории о котах, метрика точности отражает не отсутствие рассуждения, а несовпадение форматов вывода. Теоретически модель могла «подумать» правильно, но не смогла оформить ответ.
Размер выборки и условия тестирования не раскрыты. Один эксперимент на одной модели с одним бенчмарком - недостаточная база для категоричных обобщений. В других работах, например, в экспериментах с внутренним монологом (inner monologue) в робототехнических задачах, наблюдались случаи, когда модель использовала вывод для координации действий, а не для рассуждения как такового. Результаты разнятся в зависимости от архитектуры, размера модели и специфики задачи.
Вывод о невозможности скрытого рейзонинга справедлив для текущего поколения авторегрессионных моделей, но архитектуры развиваются. Модели с явной памятью, рекуррентными блоками или механизмами, отделяющими «рабочую память» от вывода, могут показать другие результаты. Пока же практический вердикт однозначен: полагаться на скрытое рассуждение в продакшене нельзя.
Заключение: мем, который стал уроком
Catmind-1.2b начиналась как шутка, а закончилась как наглядное пособие по архитектурным ограничениям языковых моделей. Эксперимент показал: мышление LLM неразрывно связано с порождаемым текстом. Модель «думает вслух», и переключение вывода на нерелевантный контекст разрушает способность к решению задач.
Точность 24.3% против 75.6% у базовой модели - не просто забавная аномалия. Это эмпирическое подтверждение того, что скрытое рассуждение в текущих архитектурах не работает. Для практиков вывод однозначен: явные цепочки мыслей - единственный надёжный способ заставить модель рассуждать. Для исследователей - стимул искать архитектуры, где мышление и вывод могут быть разделены без потери качества.
Мем стал уроком. И урок этот стоит усвоить всем, кто проектирует, обучает или использует языковые модели в реальных задачах.