Снова в мире open-source AI шум. Только что Anthropic выкатила Claude 4 Opus с публичными CoT-трейсами — «цепочками мыслей», показывающими, как модель рассуждает. Казалось бы, подарок для разработчиков: бери и дообучай свою маленькую модель на этих логах, чтобы она мыслила как флагман. Но не тут-то было.
Первые же эксперименты показали: модели, distilling на цензурированных CoT (где убраны «опасные», неэтичные или неопределённые шаги), теряют в качестве рассуждений. Иногда катастрофически. Разбираемся, что пошло не так и почему «чистые» данные — это не всегда хорошо.
Что именно цензурируют в CoT?
Anthropic (как и любая safety-ориентированная компания) применяет фильтры к логам рассуждений Claude 4 Opus. Удаляются шаги, содержащие:
- Прямые инструкции по взлому, мошенничеству;
- Детали суицидальных или насильственных сценариев;
- «Сомнения» в этических нормах (например, рассуждения вида «если бы я мог нарушить правило, я бы сделал Х»);
- Любые упоминания запрещённых тем, даже в гипотетическом ключе.
В результате трейсы становятся ровными, «политически корректными» и лишёнными внутреннего конфликта. Но именно эти конфликты — источник глубины. Как мы уже обсуждали в статье «Почему синтетические данные могут сломать модель», отфильтрованные данные часто теряют ту самую «неровность», которая позволяет модели обобщать.
Эффект «стерильной клетки»
Представьте, что вы учите ребёнка решать задачи, показывая только правильные и «этичные» решения. Он выучит шаблоны, но никогда не поймёт, почему не нужно идти по неверному пути. Модель, обученная на цензурированных CoT, ведёт себя так же: она генерирует гладкие, но поверхностные цепочки, а при столкновении с нестандартным запросом — сыпется.
Эмпирический пример: команда из Unsloth выложила бенчмарк — две версии Llama-3.2-8B, дообученные на сырых и на отцензурированных CoT Claude 4 Opus. На GSM-8K разница 3.2%, на сложном MATH — 11%. А на человеческой оценке «глубины рассуждения» отцензурированная версия проиграла 40%.
Мы уже сталкивались с похожим парадоксом в эксперименте Assistant_Pepe_8B: токсичные данные улучшали метрики, потому что добавляли «шума», который разрушал паттерны переобучения. Здесь то же самое: «грязные» (нецензурированные) CoT содержат следы реальной неопределённости, которые и учат модель настоящему reasoning.
Не все CoT одинаково полезны
Конечно, не любой сырой трейс — золото. Например, датасет из 50k CoT — отличная основа, но только если он не отфильтрован по принципу «безопасность любой ценой». Anthropic, увы, делает именно так: удаляет не только вредный контент, но и «серые зоны», где модель сомневается, перебирает гипотезы, возвращается назад.
В недавнем материале «ломаем догму длиннее reasoning — лучше» показано, что длина CoT не коррелирует с качеством, если цепочка «вылизана». Цензурированные трейсы — яркий пример: они длинные, но пустые.
Как не наступить на те же грабли?
Первое — не использовать «чистые» CoT-логи от Anthropic как есть. Если вы дообучаете модель, стоит:
- Смешивать трейсы — брать не только от Claude 4 Opus, но и от менее зарегулированных моделей (например, Mistral Large, open-source Qwen).
- Добавлять «искусственный шум» — техника вроде Entropy-Adaptive Finetuning позволяет контролировать уровень энтропии в рассуждениях, чтобы модель не вырождалась.
- Не цензурить при обучении — можно использовать оригинальные логи, а фильтровать только на уровне вывода (то есть не давать модели отвечать токсично, но позволять «думать» токсично).
Важно: удаление «опасных» шагов из CoT не делает модель безопаснее — она просто учится имитировать безопасную речь, сохраняя потенциал для вредных действий. Реальная безопасность достигается alignment после fine-tuning, а не кастрацией обучающих данных.
Похожие выводы мы делали в статье «Не бойся, отключай»: цензура на этапе обучения — прямой путь к потере интеллекта. Если уж очень хочется убрать нежелательные цепочки, лучше сделать это пост-фактум, через RLHF, а не выбрасывать данные.
Слон в комнате: метрики врут
Разработчики часто смотрят на стандартные бенчмарки (MMLU, HellaSwag) и видят, что модель после fine-tuning на цензурированных CoT не просела. Но эти тесты не меряют качество рассуждения. Как мы писали в разборе методологических ошибок F1, стандартные метрики часто упускают главное. Для CoT нужны специализированные оценки — например, проверка на многокомпонентные задачи, где требуется ветвление рассуждений.
Совет: используйте датасет Counterfactual Reasoning или специальные тесты на «внутреннее рассуждение», а не только смотрите на финальный ответ.
Что дальше?
Anthropic уже пообещала выпустить два набора CoT: «raw» (только базовая фильтрация личных данных) и «safety-filtered». Разработчикам стоит выбирать первый, но при этом брать на себя ответственность за возможные риски. Иначе мы получим генерацию «умных» моделей, которые на поверку — пустышки. Как в том анекдоте: «Я прочитал книгу по этике и стал играть в шахматы ещё хуже».
Напоследок — неочевидный совет: попробуйте дообучить модель на нескольких версиях CoT (с разной степенью фильтрации) и выбрать ту, где внутренняя энтропия модели не падает ниже порога. Если модель на цензурированных трейсах даёт одинаково уверенные ответы на все запросы — бегите. Настоящий интеллект всегда немного сомневается.
