Введение: почему все говорят о дистилляции китайских моделей?
Гипотеза проста: китайские языковые модели, включая Fable, достигли высокого качества исключительно за счёт дистилляции знаний из западных гигантов вроде GPT-5.4 и GPT-5.5. Эта версия популярна, потому что объясняет стремительный рывок при ограниченном доступе к вычислительным ресурсам. Однако факты указывают на более сложную картину.
Прямой ответ: дистилляция не является главным фактором успеха. Критики гипотезы приводят два весомых контраргумента. Во-первых, модели GPT-5.4 и GPT-5.5 демонстрируют низкую «взаимную узнаваемость» стиля ответов. Если бы десятки команд массово дистиллировали одну и ту же teacher-модель, их поведение было бы статистически однородным. Во-вторых, если бы дистилляция была тривиальным способом преодолеть технологический разрыв, все не-западные компании уже достигли бы уровня Fable. Этого не произошло. Европейские, индийские и другие азиатские лаборатории не показывают сопоставимых результатов, несмотря на доступ к тем же API.
Цель этого разбора - объективно оценить роль дистилляции, разобрать технические и юридические аспекты обвинений, а также показать реальные факторы, которые двигают китайские AI-проекты вперёд.
Дистилляция моделей: технология, ставшая полем битвы
Дистилляция знаний в контексте больших языковых моделей (LLM) - это процесс, при котором «ученик» (student) обучается на выходах «учителя» (teacher). Учитель - это крупная, дорогая в инференсе модель. Ученик - компактная модель, которая перенимает распределение вероятностей (логиты) или обучается на синтетических данных, сгенерированных учителем. Результат: маленькая модель воспроизводит качество большой при значительно меньших вычислительных затратах.
Технически передача знаний происходит через минимизацию расхождения между распределениями вероятностей следующего токена у учителя и ученика. На практике часто используют комбинацию оригинального датасета и сгенерированных ответов. Это стандартный инженерный метод, который применяется повсеместно - от оптимизации мобильных версий моделей до создания специализированных ассистентов.
Законная дистилляция vs. кража интеллектуальной собственности: где грань?
Грань определяется условиями использования API. OpenAI явно запрещает применять выводы своих моделей для обучения конкурирующих систем. Пункт есть в Terms of Service: нельзя использовать API для создания моделей, которые конкурируют с OpenAI. Это юридическое ограничение, а не техническое.
Техническая сложность в том, что доказать факт дистилляции практически невозможно. Сгенерированный текст - это последовательность токенов. Лаборатория может утверждать, что данные получены от краудсорсинга, автоматической фильтрации веб-корпусов или собственных teacher-моделей. Отличить вывод GPT-5.5 от вывода другой качественной модели на уровне единичного примера нельзя. Нужен статистический анализ тысяч ответов, но и он даёт лишь вероятностную оценку.
Пример из практики: Moonshot AI, разработчик Kimi K3, столкнулась с обвинениями в дистилляции. Руководство компании отрицало факт нарушения, указывая на собственные архитектурные решения и циклы обучения. Доказательств представлено не было. Ситуация типична: обвинения базируются на косвенных признаках - схожести стиля, скорости разработки, - а не на прямых уликах.
Аргументы «за»: почему дистилляция кажется главным фактором
Гипотеза о тотальной дистилляции держится на трёх наблюдениях. Первое: скорость. Китайские команды выпускают модели с интервалом в несколько месяцев, тогда как западные гиганты тратят на цикл обучения полгода-год. Дистилляция выглядит как очевидный ускоритель - не нужно проводить полный цикл pre-training на петабайтах данных.
Второе: стилистическая схожесть. Некоторые наблюдатели отмечают, что ответы китайских моделей напоминают стиль GPT-подобных систем - структура аргументации, форматирование, даже характерные фразы. Это подкрепляет подозрения, хотя не является доказательством. Стиль может быть следствием файнтюнинга на инструктивных датасетах, которые в открытом доступе часто содержат примеры диалогов от западных моделей.
Третье: санкционный контекст. Экспортные ограничения США на GPU лишили китайские компании доступа к новейшим ускорителям. В этой ситуации дистилляция выглядит рациональным обходным путём - взять качество западной модели и перенести его на архитектуру, оптимизированную под доступное железо.
Контраргументы: что не так с гипотезой о тотальной дистилляции
Три факта разрушают стройность гипотезы. Разберём их детально.
Почему GPT-5.4 и GPT-5.5 не узнают друг друга?
«Взаимная узнаваемость стиля» - это статистическая мера схожести распределений ответов двух моделей на идентичные запросы. Если модель A и модель B обучены на выходах одной teacher-модели, их распределения вероятностей токенов должны коррелировать значительно сильнее, чем у независимо обученных моделей. Это следствие того, что ученик аппроксимирует функцию учителя.
Данные сообщества AI указывают: GPT-5.4 и GPT-5.5 демонстрируют низкую взаимную узнаваемость. Их ответы на одинаковые промпты различаются по структуре, лексике и логике аргументации сильнее, чем можно ожидать от моделей с общим учителем. Если бы десятки китайских команд дистиллировали одну из этих моделей, мы наблюдали бы кластер стилистически близких систем. Этого кластера нет. Модели демонстрируют разнообразие поведений, характерное для независимых циклов обучения.
Контраргумент: возможно, дистилляция идёт не напрямую через логиты, а через сгенерированные данные с последующей фильтрацией и аугментацией. Но тогда это не дистилляция в чистом виде, а стандартный пайплайн обучения на синтетических данных - практика, которую используют все, включая западные лаборатории.
Если дистилляция так проста, почему другие не догнали Fable?
Этот вопрос - самый сильный контраргумент. API западных моделей доступны глобально. Любая команда из Европы, Индии, Японии или Бразилии может арендовать доступ к GPT-5.5, сгенерировать датасет и обучить ученика. Если бы дистилляция была ключом к успеху, мы бы видели десятки моделей уровня Fable по всему миру. Мы не видим.
Европейские лаборатории, такие как Mistral, показывают сильные результаты, но не обгоняют китайские аналоги по соотношению качество/стоимость инференса. Индийские проекты отстают. Причина в том, что дистилляция - это не магия. Качество ученика ограничено качеством данных, архитектурой, инженерной экспертизой команды и вычислительными ресурсами для самого процесса дистилляции. Китайские команды инвестировали в эти компоненты системно.
Fable и аналоги - результат не одного трюка, а цепочки решений: сбор и очистка данных на китайском языке, архитектурные инновации (MoE, эффективное внимание), оптимизация под конкретные чипы, итеративные циклы улучшения. Дистилляция может быть частью пайплайна, но не заменяет остальные звенья.
Реальные факторы успеха китайских AI-моделей
Если не дистилляция, то что? Анализ показывает четыре системных фактора, которые объясняют результаты лучше, чем гипотеза о копировании.
Open-weight модели: ставка на сообщество
Китайские лаборатории сделали стратегическую ставку на открытые веса. Модели вроде Qwen 3.8 Max и Kimi K3 распространяются с открытыми параметрами, что позволяет любому разработчику провести аудит безопасности, дообучить модель под свою задачу и развернуть её на собственном железе. Это снижает затраты для стартапов и создаёт экосистему вокруг модели. Сообщество находит баги, предлагает улучшения, пишет адаптеры - модель эволюционирует быстрее, чем закрытый API-продукт.
Западные компании, напротив, держат модели за API. Это защищает бизнес-модель, но замедляет распространение и ограничивает обратную связь. Разработчик, который не может инспектировать веса, не может и глубоко кастомизировать модель под специфический домен. Подробнее о стратегических ошибках, которые привели к потере лидерства в open-source AI, читайте в разборе ситуации с Meta.
Эффективность как ответ на санкции
Ограничения на поставки GPU парадоксально стимулировали инженерные прорывы. Китайские команды не могли просто масштабировать обучение, добавляя тысячи H100. Им пришлось выжимать максимум из доступного железа. Результат: архитектурные инновации, которые снижают вычислительные затраты без потери качества.
Ключевой пример - смесь экспертов (Mixture of Experts, MoE). Модель активирует только часть параметров для каждого токена, что радикально снижает затраты на инференс и обучение. Kimi K3 с 2.8 трлн параметров использует MoE, чтобы оставаться практичной в развёртывании. Техники квантизации, оптимизация attention-механизмов, эффективные форматы хранения весов - всё это область, где китайские лаборатории показали конкретные результаты, а не просто скопировали западные подходы. Детальный анализ модели Kimi K3 с бенчмарками и архитектурными решениями мы публиковали в отдельном материале.
Данные - второй столп. Китайский сегмент интернета производит объёмы текста, которые сопоставимы с англоязычным вебом, но значительно менее представлены в публичных датасетах. Лаборатории, имеющие доступ к этим данным, получают конкурентное преимущество: модель обучается на контенте, которого нет у западных аналогов. Это не дистилляция, а работа с сырыми данными.
Регуляторный шторм: как санкции и запреты дистилляции меняют ландшафт AI
Ситуация обостряется. Министр финансов США Скотт Бессент допустил введение санкций против китайских открытых AI-моделей. Обоснование: дистилляция угрожает технологическому лидерству Америки. Подробный разбор заявления и его последствий - в статье о санкционной эскалации.
Параллельно идёт дискуссия о запрете дистилляции как техники. Проблема в том, что технически запретить дистилляцию невозможно - это математическая процедура. Можно запретить использование API для этих целей юридически, но контроль за соблюдением остаётся иллюзорным. Регуляторные усилия смещаются в сторону экспортного контроля над чипами и ограничения доступа к облачным вычислениям.
Что теряет мир open-source AI в случае запрета?
Запрет китайских open-weight моделей ударит по сотням стартапов, которые строят продукты на их основе. Kimi K3 и Qwen 3.8 Max предоставляют качество, сопоставимое с GPT-5.4, при стоимости инференса в разы ниже. Стартап может развернуть такую модель на собственном кластере, не платя за API и не передавая данные третьей стороне.
Закрытие этого канала приведёт к монополизации рынка: несколько западных компаний будут контролировать доступ к качественным языковым моделям через платные API. Цены вырастут, темпы инноваций упадут. Разработчики потеряют возможность аудита безопасности - нельзя проверить, что закрытая модель не сохраняет пользовательские данные или не имеет бэкдоров. О геополитическом контексте гонки open-source моделей между Китаем и США читайте в анализе источников капитала и стратегий.
Практические выводы: как снизить риски для вашего AI-проекта уже сейчас
Ситуация неопределённая, но actionable рекомендации есть. Вот что можно сделать сегодня.
Диверсифицируйте поставщиков моделей. Не завязывайтесь на один API. Протестируйте три-четыре модели разного происхождения на ваших задачах. Критерий выбора - метрики качества на вашем домене, а не страна разработчика. Бенчмарки общего назначения (MMLU, HumanEval) дают ориентир, но реальную применимость показывает только тестирование на ваших данных.
Используйте open-weight модели с самостоятельным хостингом. Если юридические риски использования китайских моделей возрастут, наличие собственного развёртывания снижает зависимость от внешних решений. Модель, уже запущенная на вашем кластере, продолжит работать независимо от регуляторных изменений. Это применимо к любым open-weight моделям - и западным, и восточным.
Мониторьте юридические риски при использовании API. Если вы используете API западных моделей для генерации синтетических данных, проверьте Terms of Service. Некоторые провайдеры явно запрещают использование выводов для обучения конкурирующих моделей. Нарушение может привести к блокировке аккаунта и юридическим последствиям. Разделяйте пайплайны: данные для обучения получайте из источников с явно разрешённой лицензией.
Оценивайте модели по бенчмаркам, а не по происхождению. Техническое качество модели определяется архитектурой, данными и обучением, а не геополитической принадлежностью лаборатории. Проводите A/B-тесты на ваших задачах. Метрики вроде точности, полноты, задержки и стоимости инференса - объективные критерии выбора.
Заключение: дистилляция - часть успеха, но не его основа
Дистилляция знаний используется в индустрии AI повсеместно. Вероятно, китайские лаборатории применяют её как один из инструментов в пайплайне обучения. Но гипотеза о том, что дистилляция - главный и достаточный фактор, не выдерживает проверки фактами.
Низкая взаимная узнаваемость стиля GPT-5.4 и GPT-5.5 противоречит идее массовой дистилляции от одного учителя. Отсутствие сопоставимых результатов у других не-западных компаний показывает, что дистилляция не тривиальна и не заменяет инженерную экспертизу. Реальный успех китайских моделей строится на комплексе факторов: архитектурные инновации (MoE, эффективное внимание), оптимизация под ограниченное железо, доступ к данным на китайском языке и стратегическая ставка на open-weight распространение.
Опасения о «сдувании» защитных барьеров (moats) преувеличены. Барьеры не исчезают, а смещаются. Раньше это был доступ к данным и compute. Сегодня это способность быстро интегрировать архитектурные инновации, строить экосистемы вокруг открытых моделей и эффективно использовать доступное железо. Конкуренция в AI переходит от гонки параметров к гонке эффективности. И в этой гонке дистилляция - лишь один из многих инструментов.