Один пользователь прогнал Recursive Flint UD-Q5_K_XL (27,9 ГиБ) через два движка на RTX 3060 с 12 ГБ VRAM и 30 ГБ системной RAM. По его замерам RustingStrata 1.2.2 (commit 3902978) выдала 64,6 tok/s на прогретом декодировании, llama.cpp b12191 (commit e95426f16) - 48,6 tok/s. Разрыв около 33% в пользу RustingStrata при одной модели, одном промпте и одинаковых настройках генерации.
На префилле промпта длиной 4K токенов расстановка та же, но отрыв меньше: 1,14-1,30k tok/s против 0,85-1,02k tok/s, то есть примерно в 1,2-1,3 раза. Оба набора цифр относятся к прогретому состоянию, когда нужные страницы модели уже лежат в кэше RAM. Свежая загрузка ведёт себя иначе, и об этом говорит сам автор теста.
Оговорка, без которой цифры читать нельзя: это единичный энтузиастский замер на конкретной конфигурации. Независимого воспроизведения нет, число повторов неизвестно, а объяснение прироста даёт автор движка. Воспринимайте результат как повод проверить свою связку, а не как окончательный вердикт.
Что показал тест: итоговые цифры RustingStrata против llama.cpp
| Режим | RustingStrata 1.2.2 | llama.cpp b12191 | Разница |
|---|---|---|---|
| Декодирование, tok/s | 64,6 (63,8-65,6) | 48,6 (47,5-49,3) | около 33% |
| Префилл 4K, tok/s | 1,14-1,30k | 0,85-1,02k | около 1,2-1,3x |
Условия эксперимента: модель, железо и версии движков
Исходные данные такие: модель Recursive Flint в кванте UD-Q5_K_XL размером 27,9 ГиБ, видеокарта RTX 3060 на 12 ГБ VRAM, 30 ГБ системной памяти. Версия RustingStrata - 1.2.2, commit 3902978, рабочее дерево без изменений; версия llama.cpp - b12191, commit e95426f16. Использовались одна и та же модель, один промпт и одинаковые настройки генерации, это автор подчёркивает отдельно.
Полные бенчмарки он выложил в файл docs/BENCHMARKS.md репозитория RustingStrata. Это единственный публичный источник цифр по данному прогону, независимых повторов на другой машине или другом железе пока нет. Сам пост с результатами доступен в сообществе LocalLLaMA, причём в заголовке модель названа Flint 40B, хотя точное число параметров в тексте замера не приводится.
Декодирование и префилл: где именно разрыв
Две фазы работы движка отвечают за разные ощущения от чата. Префилл - обработка входного промпта. Именно он определяет, сколько ждать первого токена после вставки длинного документа или большого блока кода. Декодирование - генерация токен за токеном, и оно задаёт скорость длинных ответов, агентных циклов и рассуждений на несколько тысяч токенов.
По этим замерам префилл 4K ускоряется примерно в 1,2-1,3 раза, декодирование - примерно на треть. Для сценария «вставил 20 страниц текста и жду ответа» выигрыш будет заметнее по времени до первого токена, для сценария «долгая генерация кода» - по общей продолжительности ответа. Диапазоны значений в тесте не пересекаются, так что разрыв не выглядит случайным шумом, но и повторяемость на других прогонах автор не показывает.
Почему модель на 27,9 ГиБ вообще работает на 12 ГБ VRAM
27,9 ГиБ весов не помещаются в 12 ГБ VRAM, и генерация всё равно идёт. Flint - MoE-модель: на каждом шаге активируется только часть экспертов, поэтому в видеопамяти достаточно держать общие слои и те эксперты, которые нужны прямо сейчас. Остальные веса лежат в системной RAM и подтягиваются по мере надобности.
Суффикс Q5_K_XL в имени файла обозначает квантование уровня Q5 в формате GGUF. 27,9 ГиБ - это размер уже сжатых весов, а не исходной fp16-версии той же модели: в полной точности она была бы заметно тяжелее. Точную схему квантования в источнике не разбирают, и для оценки скорости она вторична. Значение имеет итоговый размер файла, который не влезает в 12 ГБ видеопамяти.
Offload экспертов и роль системной RAM
При нехватке VRAM узкое место смещается с вычислений на подкачку весов. Каждый токен, для которого нужен эксперт, отсутствующий в видеопамяти, требует чтения из системной памяти. Отсюда два следствия. Первое: скорость жёстко зависит от пропускной способности RAM и от того, какие страницы модели уже закэшированы. Второе: свежая загрузка и прогретый запуск дают разную картину, и автор теста прямо предупреждает, что на холодную поведение будет другим.
Поэтому 30 ГБ системной памяти в этой конфигурации - не запас, а рабочий буфер. Модель на 27,9 ГиБ плюс операционная система и служебные процессы почти упираются в этот объём, так что кэш страниц работает на пределе. Если бюджет RAM подбирается под похожую задачу, полезно посмотреть разбор того, как объём памяти меняет скорость MoE-модели: там апгрейд с 32 до 64 ГБ убрал чтение экспертов с диска и дал кратный рост.
Как RustingStrata ускоряется: адаптация экспертов и освобождение RAM-страниц
Автор называет две ключевые оптимизации. Первая: движок адаптирует размещение экспертов под текущий ответ, а не продолжает приоритизировать паттерн маршрутизации, снятый с промпта. Смысл в том, что активации на генерации смещаются относительно активаций на входном тексте. Кэш, собранный по промпту, довольно быстро перестаёт попадать в фактические запросы, и движок начинает тянуть экспертов из RAM заново. Пересборка раскладки по ходу ответа держит в VRAM то, что реально нужно следующим токенам.
Вторая оптимизация - освобождение RAM-страниц для экспертов, уже скопированных в VRAM. Хост-кэш сохраняется только для тех экспертов, которые ещё предстоит подгружать из системной памяти. Простыми словами: движок перестаёт держать в RAM копию того, что уже не понадобится оттуда, и освободившееся место отдаёт под то, что действительно будет читаться. На машине с 30 ГБ RAM, где модель занимает почти всё, такой обмен даёт ощутимый эффект.
Важная рамка: оба механизма описаны самим автором движка. Независимого профилирования, которое подтвердило бы, что прирост дают именно эти два изменения, в источнике нет. Это правдоподобное и технически связное объяснение, но не измеренный вывод. Подробнее о самом движке, его CUDA-ядрах и гибридном режиме для MoE читайте в разборе RustingStrata для 12 ГБ VRAM.
Почему llama.cpp медленнее: универсальность как плата за скорость
Позиция автора звучит так: RustingStrata ускоряется за счёт специфичного кода под отдельные модели, а llama.cpp теряет скорость именно потому, что остаётся общим движком, способным запускать всё подряд. Сравнение в такой формулировке не вполне симметрично, и это стоит держать в голове.
Универсальность llama.cpp - это широта поддержки архитектур и форматов, огромное число квантов, зрелые бэкенды и предсказуемое поведение на десятках моделей. Специализация даёт скорость на конкретной модели, но не гарантирует, что те же проценты перенесутся на соседнюю. Если вы гоняете одну-две MoE-модели и упираетесь в tok/s, специализированный движок может выиграть. Если парк моделей широкий, выигрыш размывается. Как именно оптимизации MoE-инференса ведут себя на практике, включая регрессии и компромиссы, разобрано в материале про патчи MoE-инференса в llama.cpp.
Насколько можно доверять этим цифрам
Замер сделан одним энтузиастом, на одной конфигурации, с прогретым кэшем. Диапазоны значений указаны, но число повторов и разброс между запусками не раскрыты. Независимого воспроизведения на другом железе нет. Автор ссылается на ранее проведённые бенчмарки качества и утверждает, что ускорение не достигается за счёт качества, но эти данные нужно смотреть отдельно в docs/BENCHMARKS.md и оценивать по собственной методике. Цифры правдоподобны и внутренне согласованы: декодирование на треть быстрее, префилл - в 1,2-1,3 раза, оба показателя двигаются в одну сторону. Независимый тест это всё равно не заменяет.
Что могло повлиять на результат
- Состояние кэша RAM: прогретый запуск и свежая загрузка на модели больше VRAM дают разную скорость.
- Фоновые процессы и занятая память: при 30 ГБ RAM запас небольшой, лишний браузер меняет картину.
- Температура и троттлинг GPU: длинный прогон на ноутбучной или плохо продуваемой карте просаживает частоты.
- Версии и коммиты движков: b12191 и 1.2.2 - конкретные срезы, на других сборках поведение отличается.
- Параметры контекста, батча и сэмплинга: их совпадение автор заявил, но сами значения в посте не приведены.
- Методика замера: непонятно, брались ли средние значения, медиана или лучший результат из серии.
Сравнение «warm против warm» корректно само по себе. Сравнение прогретого движка с холодным даст другую картину, и именно на этом чаще всего ломаются восторженные выводы.
Как проверить у себя
- Зафиксируйте версии и коммиты обоих движков и запишите их.
- Возьмите один файл модели и один промпт, прогоните оба движка с одинаковыми настройками генерации.
- Прогрейте каждый движок одинаково: одинаковое число прогонов до начала измерений.
- Измеряйте декодирование и префилл 4K отдельно, это разные нагрузки.
- Повторите замер несколько раз и смотрите на разброс, а не на лучший результат.
- Сверьте порядок величин с docs/BENCHMARKS.md из репозитория RustingStrata и с исходным постом автора.
Стоит ли менять llama.cpp на RustingStrata
Переход имеет смысл в узком сценарии: вы гоняете конкретные MoE-модели, видеокарта не вмещает веса целиком, и вы упираетесь именно в tok/s, а не в удобство. Тогда треть скорости на декодировании - заметная величина. Готовность разбираться с менее универсальным движком и проверять качество самостоятельно прилагается.
Остаться на llama.cpp логично, если важны широта поддержки моделей и форматов, зрелая экосистема, обилие готовых сборок и предсказуемость на новых архитектурах. Риск специализации простой: прирост, полученный на одной модели, может не перенестись на следующую, а качество после смены движка нужно проверять на своих задачах, а не на словах автора. Компромиссный вариант - держать оба движка и переключаться под задачу.
Recursive Flint: что это за модель и замена ли она Qwen3.6:35-a3b
Отдельным вопросом автор спрашивает, интересна ли аудитории сама модель. По его словам, Recursive Flint он нашёл на OpenRouter, считает её интересной и видит в ней возможную современную замену Qwen3.6:35-a3b. Конкретных замеров, которые подкрепляли бы это сравнение, в посте не приводится: ни результатов бенчмарков, ни сопоставления на одинаковых задачах.
Из подтверждённого в источнике - только размер кванта (27,9 ГиБ в UD-Q5_K_XL) и то, что модель запускается на 12 ГБ VRAM с 30 ГБ RAM. Число параметров, лицензия, архитектурные детали и качественные характеристики в посте не раскрыты, поэтому приписывать модели свойства не стоит. Оценка «лучше Qwen3.6:35-a3b» остаётся мнением автора теста. Про то, как сама Qwen 3.6 35B ведёт себя в локальном запуске, есть отдельный разбор поддержки Qwen 3.6 35B - там видно, какие компромиссы накладывает ограниченная VRAM.
Итог: что реально следует вынести из теста
- По замеру одного пользователя RustingStrata 1.2.2 обошла llama.cpp b12191 примерно на 33% на прогретом декодировании (64,6 против 48,6 tok/s) и в 1,2-1,3 раза на префилле 4K (1,14-1,30k против 0,85-1,02k tok/s).
- Прирост автор объясняет адаптацией размещения экспертов под текущий ответ и освобождением RAM-страниц для экспертов, уже перенесённых в VRAM.
- На модели, которая не влезает в 12 ГБ VRAM, системная RAM становится рабочим буфером, а скорость зависит от кэша страниц: холодный старт ведёт себя иначе.
- Это единичный замер на одной конфигурации без независимого воспроизведения, цифры требуют проверки на своём железе.
- Recursive Flint выглядит интересным кандидатом, но разговор о замене Qwen3.6:35-a3b пока держится на мнении автора, а не на измерениях.
Следующий шаг практический: если у вас похожая связка, прогоните оба движка по чек-листу выше на своей модели и своём промпте, а затем сверьте результаты с docs/BENCHMARKS.md и публикацией автора. Только после этого имеет смысл менять рабочий инструмент.