Перейти к содержанию
Публикация AiManual

UkisAI Swift GLM-5.3-Flash и Swift Ornith 9B: как сократить thinking-токены без потери точности

UkisAI выпустила Swift1.5 GLM-5.3-Flash и экспериментальную Swift1.5 Ornith-9B: заявлено минус 61,4% thinking-токенов на MMLU-Pro при среднем падении точности 0

Коротко

Что будет в материале

  1. 01

    Что UkisAI выпустила в серии Swift: две модели и их статус

  2. 02

    Что такое токен-эффективный reasoning и почему overthinking - это проблема

  3. 03

    Как работает метод UkisAI: штраф за overthinking, RL и on-policy distillation

  4. 04

    Цифры и бенчмарки: что именно измеряли и как читать -0,46%

UkisAI выпустила две новые модели серии Swift: Swift1.5 GLM-5.3-Flash и Swift1.5 Ornith-9B. Обе дообучены под одну задачу, сократить расход токенов на рассуждения. Для GLM-5.3-Flash заявлено минус 61,4% thinking-токенов на MMLU-Pro при среднем падении точности 0,46% по измеренному набору бенчмарков, для Ornith-9B минус 33,5% thinking-токенов без потери точности и примерно вдвое меньше зацикливаний, по данным анонса.

Механика у обеих версий общая. UkisAI не режет длину рассуждений директивой, а находит токены, связанные с патологическим переосмыслением (pathological overthinking), и штрафует их при обучении. Точность потом возвращают пост-тренингом: RL и on-policy distillation.

Три оговорки, без которых цифры читаются неправильно. Ornith-9B помечен как экспериментальный релиз. Все проценты взяты из анонса разработчика, независимой проверки на момент публикации нет. И минус 61,4% относится к одному бенчмарку (MMLU-Pro), а минус 0,46% к усреднению по девяти.

Что UkisAI выпустила в серии Swift: две модели и их статус

Обе модели построены по одному рецепту: сжатие «размышлений» на этапе обучения и последующее восстановление точности. Разница в базе, наборе квантов и статусе релиза.

Swift1.5 GLM-5.3-Flash: флагман по экономии токенов

Версия Swift1.5 для базовой GLM-5.3-Flash. Заявленное сокращение thinking-токенов на MMLU-Pro, 61,4%, при среднем падении точности 0,46% по набору бенчмарков. Набор квантов самый широкий из двух релизов: GGUF от 1 до 8 бит, W4A16 AWQ и NVFP4. Модель работает с базовыми MTP- или DFLASH2-головами.

Размер, лицензия и дата публикации базовой модели в анонсе не раскрываются, поэтому не стоит подставлять сюда цифры из других релизов линейки.

Swift1.5 Ornith-9B: экспериментальная модель с упором на зацикливания

Здесь акцент смещён с экономии как таковой на устойчивость работы. Заявлено минус 33,5% thinking-токенов без потери точности и примерно вдвое меньше overthinking loops, то есть модель заметно реже уходит в цикл и не доводит промпт до конца. Доступны GGUF от 4 до 8 бит.

Статус релиза помечен как экспериментальный. UkisAI открыто просит обратную связь и отдельно уточняет: модель прошла пост-тренинг до того, как к ней применили экономию токенов. Это влияет на интерпретацию, дообученная база ведёт себя иначе, чем чистый чекпоинт с одним лишь штрафом за переосмысление.

МодельThinking-токеныТочностьФорматыСтатус
Swift1.5 GLM-5.3-Flashминус 61,4% на MMLU-Proсредняя потеря 0,46% по набору бенчмарковGGUF 1-8 бит, W4A16 AWQ, NVFP4релиз
Swift1.5 Ornith-9Bминус 33,5%без потери точности по заявлению, примерно вдвое меньше зацикливанийGGUF 4-8 битэкспериментальный

Что такое токен-эффективный reasoning и почему overthinking - это проблема

Reasoning-модель перед ответом генерирует цепочку промежуточных шагов. Эти шаги стоят денег и времени: каждый thinking-токен проходит через модель, занимает место в контекстном окне и увеличивает задержку до первого полезного символа ответа. На сложной задаче рассуждения окупаются, но заметная часть токенов уходит на повторную проверку уже сделанного вывода, переформулировку условия и хождение по кругу. Это и называют патологическим переосмыслением: модель вроде бы думает, а ответ от этого не улучшается.

Цена привычки растёт вместе с длиной пайплайна. В агенте с десятком последовательных вызовов лишние рассуждения умножаются на число шагов. В локальном запуске они упираются в скорость генерации на вашей видеокарте. Хуже всего, когда модель зацикливается и не завершает промпт: шаг пайплайна просто выбрасывается. Именно на это нацелена Ornith-9B. Как устроен штраф за переосмысление в предыдущем релизе лаборатории, мы разбирали в материале про Swift Qwen 3.8 27B.

Граница важная: не все reasoning-токены лишние. На задачах уровня AIME или при работе с незнакомым API часть цепочки критична, и её сокращение упирается в качество. Токен-эффективный reasoning означает, что модель перестаёт тратить токены на бесполезные повторы. Она не думает меньше по существу, она думает без хождения по кругу.

Почему нельзя просто обрезать длину рассуждений

Жёсткий лимит на длину reasoning режет цепочку вслепую: под нож попадают и пустые повторы, и полезные шаги. На простых вопросах это почти незаметно, на многошаговых модель обрывает рассуждение до того, как дошла до ответа, и точность падает. Ручная ручка thinking effort ведёт себя похоже: на 14 задачах AtCoder повышение усилий почти не добавило новых решений, зато прибавило времени и упоров в лимит токенов, показал разбор трёх квантов Qwen 3.8.

UkisAI выбрали другой путь: штрафовать конкретные токены, связанные с переосмыслением, не атакуя длину рассуждений напрямую. Модель сама учится не генерировать эти паттерны вместо того, чтобы обрывать цепочку на полуслове.

Как работает метод UkisAI: штраф за overthinking, RL и on-policy distillation

Пайплайн из анонса разбивается на три шага.

  1. Найти токены, связанные с патологическим переосмыслением, и штрафовать их при обучении, не трогая длину рассуждений напрямую.
  2. Восстановить точность дальнейшим пост-тренингом.
  3. Научить модель работать с меньшим объёмом рассуждений через RL и on-policy distillation.

On-policy distillation проще всего понять так: модель учится на собственных траекториях рассуждений, сгенерированных в текущей политике, а не на чужих ответах из статичного датасета. Для задачи «думать короче, но не глупее» логика прямая. Если учить на длинных чужих цепочках, модель вернётся к прежним привычкам. Штраф убирает лишние паттерны, а RL и дистилляция показывают, как прийти к тому же ответу по укороченной траектории.

Одна деталь методологии влияет на воспроизводимость: UkisAI сообщает, что датасет ре-сэмплируется для каждой модели. Один и тот же рецепт применяют к разным выборкам, поэтому повторить результат один к одному на другом железе не получится. Конкретные гиперпараметры штрафа, размеры датасетов и устройство функции награды в анонсе не раскрыты.

Цифры и бенчмарки: что именно измеряли и как читать -0,46%

Набор для GLM-5.3-Flash: Terminal-Bench 2.1, DeepSWE v1.1, GPQA-Diamond, MMLU-Pro, C-Eval, IFBench, AIME 2026, HMMT и LiveCodeBench v6. Каждый прогон выполняли пять раз на разных seed, сообщает UkisAI. Пять сидов дают устойчивость оценки, но независимую проверку не заменяют: и базовую, и Swift-версию гоняла сама лаборатория.

Дальше про смысл двух чисел, их часто путают. Минус 61,4% thinking-токенов замерен на MMLU-Pro, на одном бенчмарке из девяти. Минус 0,46% точности это среднее по всему набору. Складывать их в одну метрику нельзя: первое отвечает на вопрос «сколько сэкономили», второе на вопрос «чем заплатили».

Почему средняя точность - не вся картина

Среднее по девяти бенчмаркам сглаживает разброс. Если на семи задачах падение нулевое, а на двух по два процента, средняя всё равно останется около 0,46%, и результат будет выглядеть ровным. Практику важнее поведение на его типе работы: кодинг (LiveCodeBench v6, DeepSWE v1.1), терминальные задачи (Terminal-Bench 2.1), математика (AIME 2026, HMMT), знание (MMLU-Pro, C-Eval), следование инструкциям (IFBench). Разбивки по отдельным бенчмаркам в анонсе нет, поэтому единственный способ проверить, прогнать модель на своих задачах до того, как ставить её в пайплайн.

Где экономия thinking-токенов даёт реальный выигрыш

Экономия окупается там, где вызовов много и они идут цепочкой.

  • Агентные пайплайны. Десяток шагов tool-calling, на каждом модель думает заново. Сокращение рассуждений на шаг умножается на длину цепочки, и разница в стоимости инференса становится заметной.
  • Локальный кодинг. Цикл «правка, тест, правка» упирается в скорость генерации на вашей карте. Меньше токенов на шаг, больше итераций в час. Пример такой экономии на Aider-подобном прогоне мы разбирали в материале про Swift 1.5 Qwen3.8 Flash Next, где Swift-версия прошла тест с 41,1% против 40,2% у базовой, потратив около 40% токенов и времени.
  • Задачи, где модель раньше зацикливалась. Минус примерно вдвое зацикливаний у Ornith-9B бьёт по сценариям, где обрыв на незавершённом промпте ломает весь шаг агента.
  • Пакеты однотипных запросов. Классификация, извлечение, разметка. На простых входах лишние рассуждения почти всегда чистые потери.

Обратная сторона: на одноразовой сложной задаче с щедрым бюджетом токенов разница по деньгам близка к нулю, а риск просадки качества на нестандартном домене остаётся.

Локальный запуск: GGUF-кванты, AWQ, NVFP4 и совместимость

Для Swift1.5 GLM-5.3-Flash выложили широкий набор квантов: GGUF от 1 до 8 бит, W4A16 AWQ и NVFP4. Для Swift1.5 Ornith-9B набор скромнее, GGUF от 4 до 8 бит. Обе модели работают с базовыми MTP- или DFLASH2-головами.

GGUF это формат для локального инференса в llama.cpp и совместимых раннерах, и он удобен тем, что покрывает почти весь диапазон железа. W4A16 AWQ означает 4-битные веса с 16-битной активацией, вариант для GPU-стека с поддержкой AWQ. NVFP4 это 4-битный формат для GPU, который умеет работать с ним нативно. Требований к VRAM и скорости генерации в анонсе нет, подбирать придётся под свою память и замерять самостоятельно.

Какой квант выбрать под своё железо

Правило простое: чем больше бит, тем ближе поведение к оригиналу и тем больше памяти нужно.

  • 8 бит: когда качество критично и памяти хватает. Разумная точка входа для рабочего пайплайна.
  • 4-5 бит: обычный баланс для домашнего запуска. С этого диапазона чаще всего имеет смысл начинать сравнение.
  • 2-3 бита: ограниченная память или желание влезть в одну карту. Проверяйте на своих задачах, деградация на длинных рассуждениях проявляется первой.
  • 1 бит: эксперимент. Такой квант выпустили для GLM-5.3-Flash, это скорее способ посмотреть, как модель держится на предельном сжатии. Что даёт экстремально низкий битрейт и чем он грозит, мы обсуждали в заметке про выбор между 1-bit и 2-bit для Bonsai 2.

Для Ornith-9B нижняя граница в 4 бита сужает выбор на слабом железе: 2-3-битных GGUF в релизе нет. Сначала оцените, влезает ли 4-битная версия, и только потом смотрите в сторону GLM-5.3-Flash с его диапазоном от 1 бита.

Ограничения подхода: что важно знать до того, как пробовать

  • Источник цифр один. 61,4%, 0,46%, 33,5% и «вдвое меньше зацикливаний» это данные разработчика из анонса, независимых прогонов на момент публикации нет. Насколько расходятся оценки даже на квантах одной модели, видно по независимому сравнению квантованных сборок Prism-ML Bonsai 2: около 91,5% на композитном наборе, но эту цифру нельзя ставить рядом с отчётами других провайдеров без оговорок по методике.
  • Средняя потеря 0,46% не гарантирует отсутствия просадок на отдельных задачах. Разбивки по бенчмаркам не опубликованы.
  • Ornith-9B это экспериментальный релиз. Модель прошла пост-тренинг до того, как к ней применили экономию токенов, а UkisAI прямо просит обратную связь. Поведение может меняться от версии к версии.
  • «Без потери точности» это формулировка разработчика. Публичного набора бенчмарков, аналогичного списку для GLM-5.3-Flash, у Ornith-9B нет.
  • Домены за пределами бенчмарков не проверены: узкоспециализированные задачи, неанглоязычные тексты, нестандартные форматы вывода. Штраф за токены переосмысления опирается на статистику обучающих данных, и на редком домене он может резать полезные шаги.
  • Деталей метода мало: как именно определяется «патологический» токен, какие гиперпараметры штрафа, какая награда в RL. Повторить пайплайн по анонсу невозможно.

Место Swift-моделей в экосистеме и что дальше

UkisAI параллельно ведёт независимую репликацию статей GSQ-RCO. По текущим исследованиям лаборатории её Q3 GSQ-RCO показывает SOTA в своём размере, релиз обещан после завершения оценочного набора. Это заявление самого разработчика, внешних подтверждений пока нет.

Ещё два пункта дорожной карты. Идёт оценка Swift DeepSeek v4.1 Flash 1017, которую в лаборатории называют своей лучшей моделью на текущий момент. Разрабатывается собственный фандэйшен с моделями 1B и 4B, предварительно запланированными на ноябрь 2026 года, сообщает UkisAI. Это планы, а не выпущенные модели: характеристики, лицензии и качество станут известны только после релиза.

По сравнению с обычными reasoning-моделями того же класса Swift-версии не меняют архитектуру и не добавляют новых режимов. Они меняют распределение токенов в цепочке рассуждений, поэтому сравнивать их корректно с базовой моделью на одинаковых квантах и одинаковых задачах.

Кому подойдут Swift GLM-5.3-Flash и Swift Ornith-9B: практический вывод

Swift1.5 GLM-5.3-Flash имеет смысл пробовать, если нужна экономия thinking-токенов и широкий выбор квантов: GGUF от 1 до 8 бит, W4A16 AWQ и NVFP4 закрывают почти любое железо, а заявленное среднее падение 0,46% достаточно мало для пилота. Стартуйте с 4-5-битного GGUF, прогоните свои обычные задачи и сравните с текущей рабочей моделью по качеству ответа, числу токенов и времени до завершения.

Swift1.5 Ornith-9B стоит смотреть, если агентные или кодинг-сценарии регулярно ломаются о зацикливания: минус примерно вдвое циклов бьёт прямо по этой боли. Экспериментальный статус означает, что модель годится для тестов и внутренних пайплайнов, а не для продакшена без присмотра.

Обе модели оставляют один обязательный шаг, проверку на своих данных. Чужие бенчмарки говорят о том, что метод работает в среднем, а решение о переводе пайплайна на новую модель принимается по вашим задачам, вашему кванту и вашей видеокарте.

Подписаться на канал