4 ноября 2026 года в r/LocalLLaMA появился пост с прямым заголовком: «Kimi K3.1 is likely benchmaxxed (with some proof)». Его автор предполагает, что китайские LLM, включая Kimi K3.1, сравнительно сильнее «заточены» под известные бенчмарки, чем американские модели. В качестве опоры он приводит три вещи: аудит бенчмарков Kimi K3.1, публикацию в X и скриншот внутренних тестов Tencent, где американские модели лидируют с большими отрывами. Полный текст и комментарии доступны в ветке.
Короткий ответ на главный вопрос: это аргументированная гипотеза участника сообщества с частичными доказательствами. Не установленный факт и не итог независимого аудита. Автор сам призывает к осторожности и готов рассматривать альтернативные объяснения, если появятся доказательства.
«Бенчмаксинг» (benchmaxxing) здесь означает оптимизацию под тест: баллы на лидерборде растут быстрее практической пользы модели. Дальше разбираем по частям, что именно наблюдалось, что реально подтверждают ссылки, где начинается мнение автора и как проверять подобные заявления самостоятельно.
В чём суть спора: Kimi K3.1, «бенчмаксинг» и новые бенчмарки
Что такое «бенчмаксинг» простыми словами
Бенчмаксинг описывает ситуацию, когда обучение и отбор данных выстроены так, что модель показывает высокие баллы на известных публичных наборах. Прямое натаскивание на ответы, то есть утечка теста в обучающие данные, здесь крайний и самый грубый вариант. Есть варианты мягче: подбор состава данных под тематику популярных тестов, настройка формата промптов и chat-шаблона, приоритет задачам, которые легко измерить числом.
Ключевая деталь обсуждения: речь о сравнительной степени. Автор не утверждает, что американские команды не оптимизируют модели под бенчмарки. Его тезис в том, что китайские делают это заметнее. Разница в акцентах и интенсивности, а не в наличии самой практики.
Почему это гипотеза, а не приговор
Границы доказательной базы обозначены прямо в исходных материалах:
- автор сам призывает к осторожности и открыт альтернативным мнениям;
- объяснение через экосистему данных и compute сформулировано как личное мнение («I think»), а не как измеренный результат;
- содержимое аудита бенчмарков Kimi K3.1, поста в X и скриншота Tencent в доступных материалах не раскрыто, есть только ссылки и краткое описание;
- методика прогона Kimi-K3.1-Pro-DSpark описана, но результатов, которые подтверждали бы или опровергали тезис, в материалах нет.
Отсюда рабочее правило разбора: отдельно наблюдения, отдельно ссылки, отдельно выводы. Смешивать эти три слоя в один вердикт нельзя.
Наблюдение, с которого всё началось: провал на новом тесте и рывок к следующему релизу
Формулировка автора звучит так: «Everytime a brand new benchmark comes out, a lot of the Chinese models suck at it and they then significantly improve over the next model releases». То есть на свежем тесте многие китайские модели показывают слабые результаты, а к следующим релизам заметно прибавляют. По его оценке, разрыв в счётах китайских и американских моделей на новых бенчмарках большой. Это исходное сообщение с обсуждением.
Трактовок у такого поведения две. Первая: модель хорошо знакома со старыми наборами и теряется на незнакомом формате. Вторая: любой новый публичный тест становится новым ориентиром, под который следующие релизы целенаправленно дообучают, и тогда «рывок» объясняется обычным циклом разработки. Обе версии согласуются с наблюдением, иobservation само по себе не выбирает между ними.
Почему «догоняющий» паттерн выглядит подозрительно
Логика обвинения простая: если модель сильна на известных наборах, но проваливается на свежем, значит её результат зависит от знакомства с тестами. Для практика это важный сигнал, ведь реальные задачи редко совпадают с лидербордом.
Контраргумент тоже весомый. Новый бенчмарк почти всегда приносит собственный домен, стиль формулировок и формат ответа. Любой релиз требует времени на адаптацию, и резкий рост через поколение выглядит естественно. Различить эти объяснения можно только по деталям методики и по сравнению моделей в одинаковых условиях, а именно этих деталей в обсуждении не хватает.
Что известно о методике прогона Kimi-K3.1-Pro-DSpark
В карточке модели на Hugging Face описана процедура замера: каждый бенчмарк запускается на полном тестовом наборе, все 5 399 запросов успешно выполнены. Каждый сэмпл представляет собой один пользовательский ход, отрендеренный через нативный chat-шаблон целевой модели, без системного промпта и без инструментов. Описание методики опубликовано в карточке Kimi-K3.1-Pro-DSpark.
Это описание процедуры, а не доказательство тезиса: результатов прогона в материалах нет. Плюс методики в том, что отсутствие системного промпта и инструментов убирает часть вариативности и делает сравнение чище. Минус в том, что вопрос контаминации остаётся: полный тестовый набор по определению публичен, и задачи из него теоретически могли попасть в обучающие данные.
Доказательная база: аудит Kimi K3.1, пост в X и скриншот Tencent
Три опоры тезиса различаются по силе, и это важнее их количества:
- Аудит бенчмарков Kimi K3.1. Ссылка на PDF. Содержание в материалах не раскрыто: неизвестно, какие тесты брались и как считались баллы.
- Публикация в X (аккаунт JSchaeff3r). Источник самого тезиса, а не независимое исследование. Это аргумент в дискуссии, а не проверка.
- Скриншот внутренних бенчмарков Tencent. По словам автора, американские модели лидируют там с большими отрывами. Внутренние тесты компании не опубликованы и не воспроизводимы снаружи.
Итог по доказательствам: они частичные и разного качества. Поэтому корректная формулировка именно «аргументированная гипотеза», а не «доказанный бенчмаксинг».
Что может и чего не может показать скриншот внутренних тестов
Внутренние тесты отражают приоритеты и задачи конкретной компании: её продукт, её языки, её сценарии. Набор задач и методика не опубликованы, повторить замер нельзя. Такой скриншот способен показать разрыв в отдельных сценариях, и не более того. Системную «заточку» китайских моделей под бенчмарки он не доказывает. В статье он приводится как иллюстрация аргумента автора, не как подтверждённый факт.
Почему отсутствие деталей аудита важно
Без содержания аудита нельзя ответить на базовые вопросы: какие бенчмарки брались, как считались баллы, сравнивались ли модели в одинаковых условиях, обрабатывались ли отказы и таймауты. Для проверки нужен минимальный набор данных: список тестов, версии моделей, даты прогонов, параметры сэмплирования, правила подсчёта. С таким набором спор переходит из области веры в проверяемую процедуру. Похожий чек-лист вопросов к обзорам и лидербордам собран в разборе про корпоративный шиллинг в AI-обзорах.
Объяснение автора: экосистема данных и вычислительные ресурсы
Причину разрыва автор видит в двух факторах: данные и compute. «I think a lot of this comes down to the data ecosystem, as well as compute. I think the American ecosystem around data is much larger and more robust than the Chinese ecosystem». Механика, которую он описывает: в США множество небольших компаний занимаются получением и созданием данных для фронтирных компаний и продажей им этих данных. В Китае, по его оценке, такого в большом масштабе нет: «I do not think this exists on a large scale in China». Обе формулировки даны в исходном посте.
Обе они переданы как мнение, а не как измерение. Утверждение об отсутствии в Китае масштабного рынка поставщиков данных тоже субъективная оценка автора.
Рынок поставщиков данных: как он влияет на качество модели
Логика такая: разнообразие поставщиков даёт больше типов данных, свежие домены и быструю подстройку под новые задачи, включая только что опубликованные бенчмарки. Если данные закупаются у десятков независимых команд, у модели больше шансов увидеть нестандартные формулировки до того, как они попадут в тест.
Связь правдоподобная, но в обсуждаемых материалах не доказанная. Прямых измерений вклада экосистемы данных в баллы на новых тестах нет: ни корреляции, ни контролируемого сравнения. Пока это объяснительная модель, а не результат.
Compute как второй фактор, и почему он не объясняет всё
Доступ к вычислениям влияет на масштаб обучения и скорость итераций. Больше GPU означает больше экспериментов, быстрее цикл дообучения, шире пространство проверенных гипотез.
Сам по себе compute не объясняет паттерн «слабо на новом тесте, сильно на следующем релизе». Если бы разрыв определялся только железом, отставание не исчезало бы так резко после публикации нового набора. Логичнее рассматривать оба фактора вместе, с данными как основным объяснением автора и compute как усилителем, и держать в голове, что это гипотеза.
Насколько бенчмарки вообще отражают реальные способности модели
Типичные искажения известны: контаминация тестовых наборов, полная публичность теста и попадание его задач в обучающие данные, узость домена, чувствительность к формату промпта и chat-шаблону. Методики оценки LLM пока незрелы, и сравнивать результаты разных лидербордов между собой нельзя, о чём подробно говорится в материале почему бенчмаркам AI-моделей пока нельзя доверять.
Методика Kimi-K3.1-Pro-DSpark частично снимает первую группу рисков: единый chat-шаблон, отсутствие системного промпта и инструментов, полный прогон без выборочных подстановок. Вопрос знакомства модели с тестом при этом остаётся открытым, потому что набор публичный.
Полезные вопросы к любому бенчмарку: кто и когда его опубликовал, есть ли скрытая часть, совпадают ли условия прогона у сравниваемых моделей, указаны ли версии и параметры.
Красные флаги в отчётах о бенчмарках
- нет версии модели и даты прогона;
- не указаны параметры сэмплирования (temperature, top_p, лимит токенов);
- модели сравниваются в разных условиях: у одной есть инструменты и системный промпт, у другой нет;
- тест полностью публичный и старый, а результаты подаются как свежие;
- цифры приводятся без ссылки на исходные данные и без описания подсчёта.
В обсуждаемом споре часть этих деталей как раз отсутствует, и это ограничивает силу вывода независимо от того, насколько красиво выглядят отдельные цифры.
Что это значит на практике: как выбирать модель, если цифрам верить нельзя
Практическая рамка простая: лидерборд служит одним из сигналов, а решение принимается на своих задачах. Фиксируйте версию модели, chat-шаблон и параметры сэмплирования, иначе сравнение теряет смысл. Для локального запуска отдельно смотрите требования к железу и то, как модель ведёт себя в вашем пайплайне: контекст, скорость, стабильность формата ответа.
Мини-проверка модели под свою задачу
- Соберите 20-50 реальных запросов из своей работы: код, извлечение данных, письма, разбор документов.
- Прогоните их на интересующих моделях с одинаковым chat-шаблоном и одинаковыми параметрами сэмплирования.
- Оцените результат по критериям, заданным заранее: доля корректных ответов, объём ручной правки, число отказов.
- Запишите версию модели, дату и параметры прогона, чтобы через месяц сравнение осталось осмысленным.
Такая проверка не воспроизводит бенчмарк и не заменяет публичные замеры. Она показывает полезность модели именно для ваших задач и снижает риск купить «лидербордную» модель без практической отдачи. Пример того, как выглядит замер с явно указанными параметрами, есть в разборе Nex N2.5 Mini в 4-битном MLX-кванте на Apple M5 Max. Если интересует сама Kimi K3.1 Pro, часть деталей её анонса пока не подтверждена, что разобрано в материале Kimi K3.1 Pro: что подтверждено, а что пока только слухи.
Итог: что можно утверждать, а что пока остаётся гипотезой
Подтверждено немногое и это нормально для свежего спора. Наблюдение о «догоняющем» паттерне и о разрыве на новых бенчмарках существует в явной формулировке автора. Доказательная база частичная: аудит, пост в X и скриншот Tencent в материалах не раскрыты. Объяснение через экосистему данных и compute остаётся мнением, а методика прогона Kimi-K3.1-Pro-DSpark описана без результатов.
Тезис подтвердили бы воспроизводимые прогоны на скрытых наборах, одинаковые условия для китайских и американских моделей, публикация методик и параметров. Опровергли бы те же прогоны с обратным результатом: китайские модели держат уровень на незнакомом тесте так же, как на знакомом.
Практический вывод для читателя: относитесь к бенчмаркам как к одному из сигналов, а не как к приговору. Возьмите свою модель, свои 20-50 запросов и свои критерии оценки. Цифры из лидерборда пригодятся для короткого списка кандидатов, финальное решение всё равно остаётся за проверкой на реальной работе.