Перейти к содержанию
Публикация AiManual

RustingStrata против llama.cpp: тест Flint 40B на RTX 3060 12 ГБ

Пользователь прогнал Recursive Flint UD-Q5_K_XL на 27,9 ГиБ через RustingStrata 1.2.2 и llama.cpp b12191 на RTX 3060 12 ГБ: 64,6 против 48,6 tok/s после прогрев

Коротко

Что будет в материале

  1. 01

    Что показал тест: итоговые цифры RustingStrata против llama.cpp

  2. 02

    Почему модель на 27,9 ГиБ вообще работает на 12 ГБ VRAM

  3. 03

    Как RustingStrata ускоряется: адаптация экспертов и освобождение RAM-страниц

  4. 04

    Почему llama.cpp медленнее: универсальность как плата за скорость

Один пользователь прогнал Recursive Flint UD-Q5_K_XL (27,9 ГиБ) через два движка на RTX 3060 с 12 ГБ VRAM и 30 ГБ системной RAM. По его замерам RustingStrata 1.2.2 (commit 3902978) выдала 64,6 tok/s на прогретом декодировании, llama.cpp b12191 (commit e95426f16) - 48,6 tok/s. Разрыв около 33% в пользу RustingStrata при одной модели, одном промпте и одинаковых настройках генерации.

На префилле промпта длиной 4K токенов расстановка та же, но отрыв меньше: 1,14-1,30k tok/s против 0,85-1,02k tok/s, то есть примерно в 1,2-1,3 раза. Оба набора цифр относятся к прогретому состоянию, когда нужные страницы модели уже лежат в кэше RAM. Свежая загрузка ведёт себя иначе, и об этом говорит сам автор теста.

Оговорка, без которой цифры читать нельзя: это единичный энтузиастский замер на конкретной конфигурации. Независимого воспроизведения нет, число повторов неизвестно, а объяснение прироста даёт автор движка. Воспринимайте результат как повод проверить свою связку, а не как окончательный вердикт.

Что показал тест: итоговые цифры RustingStrata против llama.cpp

РежимRustingStrata 1.2.2llama.cpp b12191Разница
Декодирование, tok/s64,6 (63,8-65,6)48,6 (47,5-49,3)около 33%
Префилл 4K, tok/s1,14-1,30k0,85-1,02kоколо 1,2-1,3x

Условия эксперимента: модель, железо и версии движков

Исходные данные такие: модель Recursive Flint в кванте UD-Q5_K_XL размером 27,9 ГиБ, видеокарта RTX 3060 на 12 ГБ VRAM, 30 ГБ системной памяти. Версия RustingStrata - 1.2.2, commit 3902978, рабочее дерево без изменений; версия llama.cpp - b12191, commit e95426f16. Использовались одна и та же модель, один промпт и одинаковые настройки генерации, это автор подчёркивает отдельно.

Полные бенчмарки он выложил в файл docs/BENCHMARKS.md репозитория RustingStrata. Это единственный публичный источник цифр по данному прогону, независимых повторов на другой машине или другом железе пока нет. Сам пост с результатами доступен в сообществе LocalLLaMA, причём в заголовке модель названа Flint 40B, хотя точное число параметров в тексте замера не приводится.

Декодирование и префилл: где именно разрыв

Две фазы работы движка отвечают за разные ощущения от чата. Префилл - обработка входного промпта. Именно он определяет, сколько ждать первого токена после вставки длинного документа или большого блока кода. Декодирование - генерация токен за токеном, и оно задаёт скорость длинных ответов, агентных циклов и рассуждений на несколько тысяч токенов.

По этим замерам префилл 4K ускоряется примерно в 1,2-1,3 раза, декодирование - примерно на треть. Для сценария «вставил 20 страниц текста и жду ответа» выигрыш будет заметнее по времени до первого токена, для сценария «долгая генерация кода» - по общей продолжительности ответа. Диапазоны значений в тесте не пересекаются, так что разрыв не выглядит случайным шумом, но и повторяемость на других прогонах автор не показывает.

Почему модель на 27,9 ГиБ вообще работает на 12 ГБ VRAM

27,9 ГиБ весов не помещаются в 12 ГБ VRAM, и генерация всё равно идёт. Flint - MoE-модель: на каждом шаге активируется только часть экспертов, поэтому в видеопамяти достаточно держать общие слои и те эксперты, которые нужны прямо сейчас. Остальные веса лежат в системной RAM и подтягиваются по мере надобности.

Суффикс Q5_K_XL в имени файла обозначает квантование уровня Q5 в формате GGUF. 27,9 ГиБ - это размер уже сжатых весов, а не исходной fp16-версии той же модели: в полной точности она была бы заметно тяжелее. Точную схему квантования в источнике не разбирают, и для оценки скорости она вторична. Значение имеет итоговый размер файла, который не влезает в 12 ГБ видеопамяти.

Offload экспертов и роль системной RAM

При нехватке VRAM узкое место смещается с вычислений на подкачку весов. Каждый токен, для которого нужен эксперт, отсутствующий в видеопамяти, требует чтения из системной памяти. Отсюда два следствия. Первое: скорость жёстко зависит от пропускной способности RAM и от того, какие страницы модели уже закэшированы. Второе: свежая загрузка и прогретый запуск дают разную картину, и автор теста прямо предупреждает, что на холодную поведение будет другим.

Поэтому 30 ГБ системной памяти в этой конфигурации - не запас, а рабочий буфер. Модель на 27,9 ГиБ плюс операционная система и служебные процессы почти упираются в этот объём, так что кэш страниц работает на пределе. Если бюджет RAM подбирается под похожую задачу, полезно посмотреть разбор того, как объём памяти меняет скорость MoE-модели: там апгрейд с 32 до 64 ГБ убрал чтение экспертов с диска и дал кратный рост.

Как RustingStrata ускоряется: адаптация экспертов и освобождение RAM-страниц

Автор называет две ключевые оптимизации. Первая: движок адаптирует размещение экспертов под текущий ответ, а не продолжает приоритизировать паттерн маршрутизации, снятый с промпта. Смысл в том, что активации на генерации смещаются относительно активаций на входном тексте. Кэш, собранный по промпту, довольно быстро перестаёт попадать в фактические запросы, и движок начинает тянуть экспертов из RAM заново. Пересборка раскладки по ходу ответа держит в VRAM то, что реально нужно следующим токенам.

Вторая оптимизация - освобождение RAM-страниц для экспертов, уже скопированных в VRAM. Хост-кэш сохраняется только для тех экспертов, которые ещё предстоит подгружать из системной памяти. Простыми словами: движок перестаёт держать в RAM копию того, что уже не понадобится оттуда, и освободившееся место отдаёт под то, что действительно будет читаться. На машине с 30 ГБ RAM, где модель занимает почти всё, такой обмен даёт ощутимый эффект.

Важная рамка: оба механизма описаны самим автором движка. Независимого профилирования, которое подтвердило бы, что прирост дают именно эти два изменения, в источнике нет. Это правдоподобное и технически связное объяснение, но не измеренный вывод. Подробнее о самом движке, его CUDA-ядрах и гибридном режиме для MoE читайте в разборе RustingStrata для 12 ГБ VRAM.

Почему llama.cpp медленнее: универсальность как плата за скорость

Позиция автора звучит так: RustingStrata ускоряется за счёт специфичного кода под отдельные модели, а llama.cpp теряет скорость именно потому, что остаётся общим движком, способным запускать всё подряд. Сравнение в такой формулировке не вполне симметрично, и это стоит держать в голове.

Универсальность llama.cpp - это широта поддержки архитектур и форматов, огромное число квантов, зрелые бэкенды и предсказуемое поведение на десятках моделей. Специализация даёт скорость на конкретной модели, но не гарантирует, что те же проценты перенесутся на соседнюю. Если вы гоняете одну-две MoE-модели и упираетесь в tok/s, специализированный движок может выиграть. Если парк моделей широкий, выигрыш размывается. Как именно оптимизации MoE-инференса ведут себя на практике, включая регрессии и компромиссы, разобрано в материале про патчи MoE-инференса в llama.cpp.

Насколько можно доверять этим цифрам

Замер сделан одним энтузиастом, на одной конфигурации, с прогретым кэшем. Диапазоны значений указаны, но число повторов и разброс между запусками не раскрыты. Независимого воспроизведения на другом железе нет. Автор ссылается на ранее проведённые бенчмарки качества и утверждает, что ускорение не достигается за счёт качества, но эти данные нужно смотреть отдельно в docs/BENCHMARKS.md и оценивать по собственной методике. Цифры правдоподобны и внутренне согласованы: декодирование на треть быстрее, префилл - в 1,2-1,3 раза, оба показателя двигаются в одну сторону. Независимый тест это всё равно не заменяет.

Что могло повлиять на результат

  • Состояние кэша RAM: прогретый запуск и свежая загрузка на модели больше VRAM дают разную скорость.
  • Фоновые процессы и занятая память: при 30 ГБ RAM запас небольшой, лишний браузер меняет картину.
  • Температура и троттлинг GPU: длинный прогон на ноутбучной или плохо продуваемой карте просаживает частоты.
  • Версии и коммиты движков: b12191 и 1.2.2 - конкретные срезы, на других сборках поведение отличается.
  • Параметры контекста, батча и сэмплинга: их совпадение автор заявил, но сами значения в посте не приведены.
  • Методика замера: непонятно, брались ли средние значения, медиана или лучший результат из серии.

Сравнение «warm против warm» корректно само по себе. Сравнение прогретого движка с холодным даст другую картину, и именно на этом чаще всего ломаются восторженные выводы.

Как проверить у себя

  1. Зафиксируйте версии и коммиты обоих движков и запишите их.
  2. Возьмите один файл модели и один промпт, прогоните оба движка с одинаковыми настройками генерации.
  3. Прогрейте каждый движок одинаково: одинаковое число прогонов до начала измерений.
  4. Измеряйте декодирование и префилл 4K отдельно, это разные нагрузки.
  5. Повторите замер несколько раз и смотрите на разброс, а не на лучший результат.
  6. Сверьте порядок величин с docs/BENCHMARKS.md из репозитория RustingStrata и с исходным постом автора.

Стоит ли менять llama.cpp на RustingStrata

Переход имеет смысл в узком сценарии: вы гоняете конкретные MoE-модели, видеокарта не вмещает веса целиком, и вы упираетесь именно в tok/s, а не в удобство. Тогда треть скорости на декодировании - заметная величина. Готовность разбираться с менее универсальным движком и проверять качество самостоятельно прилагается.

Остаться на llama.cpp логично, если важны широта поддержки моделей и форматов, зрелая экосистема, обилие готовых сборок и предсказуемость на новых архитектурах. Риск специализации простой: прирост, полученный на одной модели, может не перенестись на следующую, а качество после смены движка нужно проверять на своих задачах, а не на словах автора. Компромиссный вариант - держать оба движка и переключаться под задачу.

Recursive Flint: что это за модель и замена ли она Qwen3.6:35-a3b

Отдельным вопросом автор спрашивает, интересна ли аудитории сама модель. По его словам, Recursive Flint он нашёл на OpenRouter, считает её интересной и видит в ней возможную современную замену Qwen3.6:35-a3b. Конкретных замеров, которые подкрепляли бы это сравнение, в посте не приводится: ни результатов бенчмарков, ни сопоставления на одинаковых задачах.

Из подтверждённого в источнике - только размер кванта (27,9 ГиБ в UD-Q5_K_XL) и то, что модель запускается на 12 ГБ VRAM с 30 ГБ RAM. Число параметров, лицензия, архитектурные детали и качественные характеристики в посте не раскрыты, поэтому приписывать модели свойства не стоит. Оценка «лучше Qwen3.6:35-a3b» остаётся мнением автора теста. Про то, как сама Qwen 3.6 35B ведёт себя в локальном запуске, есть отдельный разбор поддержки Qwen 3.6 35B - там видно, какие компромиссы накладывает ограниченная VRAM.

Итог: что реально следует вынести из теста

  • По замеру одного пользователя RustingStrata 1.2.2 обошла llama.cpp b12191 примерно на 33% на прогретом декодировании (64,6 против 48,6 tok/s) и в 1,2-1,3 раза на префилле 4K (1,14-1,30k против 0,85-1,02k tok/s).
  • Прирост автор объясняет адаптацией размещения экспертов под текущий ответ и освобождением RAM-страниц для экспертов, уже перенесённых в VRAM.
  • На модели, которая не влезает в 12 ГБ VRAM, системная RAM становится рабочим буфером, а скорость зависит от кэша страниц: холодный старт ведёт себя иначе.
  • Это единичный замер на одной конфигурации без независимого воспроизведения, цифры требуют проверки на своём железе.
  • Recursive Flint выглядит интересным кандидатом, но разговор о замене Qwen3.6:35-a3b пока держится на мнении автора, а не на измерениях.

Следующий шаг практический: если у вас похожая связка, прогоните оба движка по чек-листу выше на своей модели и своём промпте, а затем сверьте результаты с docs/BENCHMARKS.md и публикацией автора. Только после этого имеет смысл менять рабочий инструмент.

Подписаться на канал