Что случилось: Strata добавила Qwen 3.6 35B
23 октября 2026 года в сабреддите r/LocalLLaMA появилось сообщение: Strata теперь поддерживает Qwen 3.6 35B (исходный тред). Суть новости в одном: в списке моделей, которые запускаются в этой среде, стало на одну строку больше. Ни новых функций, ни требований к железу, ни данных о поддерживаемых бэкендах в сообщении нет.
Там же единственный конкретный отчёт о запуске: пользователь опробовал Qwen 3.6 35B на сборке Strata под gfx906 и получил на MI50 с 16 ГБ VRAM скорость декодирования ниже, чем в llama.cpp. Настроек, длины контекста, кванта и методики замера в сообщении не приводится.
Что из этого следует и чего не следует. Следует: модель в Strata запускается, как минимум на одной устаревшей AMD-карте. Не следует: что Strata медленнее llama.cpp в целом. Один запуск без описанных параметров не даёт сравнимых данных, а значит и выводов за всех владельцев похожего железа.
Практический смысл новости простой: у вас появился ещё один инструмент, в котором можно поднять Qwen 3.6 35B. Пользоваться им или остаться на привычном llama.cpp, решают собственные замеры на своих задачах, а не заголовок и не один комментарий в треде.
Что такое Strata и какие сценарии она закрывает
Strata - среда запуска локальных LLM: загружает веса модели, раскладывает их по видеопамяти и системной RAM, отдаёт токены по запросу. Ту же работу выполняют llama.cpp, Ollama, LM Studio, vLLM и другие проекты, разница в том, какие модели и бэкенды поддержаны и насколько просто всё запускается.
Прошлый разбор Strata (Strata как движок инференса под Qwen3.8-Flash-Next) описывает проект как движок от пользователя KnownAd4832, который изначально затачивался под одну модель, ставился в один клик и на момент той публикации работал только через CUDA, а GGUF-кванты брались с Hugging Face. Поддержка Qwen 3.6 35B показывает, что движок перестал быть привязкой к одной модели. Какие бэкенды и GPU поддержаны сейчас, в материалах не сказано: это первый пункт, который стоит проверить по актуальной документации или README репозитория.
Ценность выбора между средами проявляется там, где один инструмент закрывает ваш сценарий, а другой нет. Вот вопросы, на которые нужен ответ до установки:
- есть ли сборка под ваш бэкенд (CUDA, ROCm, Vulkan, CPU) и как она собирается;
- поддержана ли нужная модель и нужный формат квантования в актуальной версии;
- есть ли серверный режим и HTTP API, совместимый с OpenAI, или только командная строка;
- как задаётся длина контекста, работает ли квантованный KV-кэш и выгрузка слоёв в RAM;
- как настраивается частичная выгрузка слоёв на GPU и есть ли спекулятивное декодирование;
- что с активностью проекта: даты коммитов, открытые issues, ответы автора.
Чем Strata отличается от llama.cpp по постановке задачи
llama.cpp - универсальный движок под GGUF: десятки архитектур, сборки под CPU, CUDA, Vulkan, Metal и AMD-бэкенды, сервер с OpenAI-совместимым API. Strata по данным прошлого разбора начиналась как узкий проект под конкретную модель и CUDA. Это другой путь развития: меньше охват, зато проще сфокусироваться на связке модель плюс железо.
Что это значит на практике. Если нужен нестандартный бэкенд, редкая архитектура модели или старая AMD-карта, шансы у llama.cpp выше. Если вы работаете в пределах одной архитектуры и вам нужен конкретный результат, альтернативный движок стоит проверки: конкуренция сред сама по себе не гарантирует выигрыша, но и отказываться от сравнения смысла нет.
Qwen 3.6 35B: что это за модель и кому она интересна
По Qwen 3.6 35B в материалах есть ровно две вещи: название и число параметров. Лицензия, длина контекста, поддержка изображений, дата релиза и архитектурные детали не подтверждены, поэтому любые утверждения о них будут догадками. Что можно сказать без домыслов: 35B - это класс моделей, который тяжелее привычных 7-14B и легче 70B+.
Выбор стоит строить от своих задач, а не от таблицы лидеров. Бенчмарк измеряет узкий навык, а не общую полезность: модель может отлично решать олимпиадные задачи и посредственно писать живой текст (разбор методологии оценки моделей). Для одних сценариев это неважно, для других критично.
Почему 35B на 16 ГБ VRAM - это всегда компромисс
Арифметика простая. 35 млрд параметров в 16-битном формате занимают около 70 ГБ, и это без KV-кэша. В 8 битах - примерно 35 ГБ, в 4 битах - порядка 17,5 ГБ плюс служебные расходы. Даже агрессивный 4-битный квант в 16 ГБ целиком не помещается: часть слоёв придётся держать в системной памяти или ужимать контекст. Цифры выше - арифметика по числу параметров, а не замеры конкретного релиза; реальные размеры файлов зависят от кванта и формата упаковки.
Отсюда типичный набор компромиссов: ниже битность, меньше памяти и выше риск просадки качества; короче контекст, стабильнее работа и меньше места под промпт; больше слоёв на CPU, модель запускается, но декодирование замедляется. Ограничение 16 ГБ в материалах упоминается только как характеристика тестовой конфигурации, последствия именно для Qwen 3.6 35B там не раскрыты.
Как запустить Qwen 3.6 35B локально: практические ориентиры
Порядок действий, который экономит время:
- Проверить, что модель есть в актуальной сборке Strata и что сборка существует под ваш бэкенд.
- Выбрать квантование под 16 ГБ VRAM с запасом на KV-кэш.
- Задать длину контекста, которая реально нужна, плюс небольшой запас.
- Замерить скорость декодирования, время до первого токена и потребление VRAM.
- Повторить те же замеры в llama.cpp на тех же промптах и том же кванте.
Конкретные флаги и параметры запуска в материалах не приведены: их берут из документации Strata. Любые цифры из треда без этих данных не воспроизводятся.
Квантование Qwen 3.6 35B под 16 ГБ VRAM
Квантование снижает число бит на вес. 8 бит близки по поведению к полной точности, 4 бита дают заметную экономию, 2-3 бита позволяют втиснуть модель в память, где иначе она не запустится. Правило простое: чем агрессивнее квант, тем важнее проверить качество на своих задачах, а не на чужих примерах. Логика выбора между Q4, Q5 и Q6 на тесной памяти разобрана в материале про Qwen 3.8 Flash Next на 6 ГБ VRAM, и там же видно, что решает не название кванта, а связка квант плюс контекст плюс выгрузка слоёв.
Рабочий приём: взять 2-3 варианта кванта и прогнать на одинаковых промптах. Смотреть по нескольким осям: правильность ответа, формат, тон, длина, удобство правок. Разница между соседними квантами часто вылезает в мелочах: модель иначе структурирует текст или теряет инструкции в длинном промпте.
Контекст и скорость декодирования: что замерять
Метрики, без которых сравнение превращается в разговор о вкусах:
- скорость декодирования, токенов в секунду на генерации;
- скорость обработки промпта (prefill), токенов в секунду;
- время до первого токена;
- пиковое потребление VRAM и системной RAM;
- стабильность на длинном контексте: не падает ли скорость и не начинается ли выгрузка в своп.
Ключевое условие: одинаковые промпты, одинаковая длина контекста, одинаковое квантование, одинаковые параметры сэмплирования. В отзыве про MI50 ничего из этого не описано, поэтому сопоставлять его с чем-либо бессмысленно.
Strata vs llama.cpp на MI50 16 ГБ: что на самом деле известно
Известно точно: пользователь запустил Qwen 3.6 35B в сборке Strata для gfx906 на MI50 с 16 ГБ VRAM и получил скорость декодирования хуже, чем в llama.cpp (тот же тред на r/LocalLLaMA). Это весь объём данных.
Чего в отчёте нет: настроек запуска, длины контекста, кванта, числа прогонов, версий обоих инструментов, состояния драйвера и температуры GPU. Нет и данных по другим картам. Отсюда корректная формулировка звучит так: на этой конфигурации в этом запуске получилось медленнее. Утверждение «Strata медленнее llama.cpp» на таких данных не строится.
Почему один отзыв - не бенчмарк
Одиночный запуск не воспроизводим: без методики нельзя отделить разницу инструментов от разницы настроек. С бенчмарками та же история. Задачи тестов со временем просачиваются в обучающие данные, и модель частично узнаёт задачу; производители дообучают модели под популярные тесты, из-за чего на непокрытых задачах результат может не измениться или просесть (та же методологическая статья, к скорости Strata она отношения не имеет).
Вывод для читателя: любой отзыв о производительности - сигнал проверить самому, а не готовый ответ. Особенно когда речь про устаревшую карту, где многое зависит от конкретной сборки.
llama.cpp на MI50: что учитывать при сравнении
gfx906 - архитектура не первой свежести, и поддержка таких GPU в проектах различается: где-то есть готовые сборки, где-то нужно собирать самому и следить, чтобы вычисления шли через GPU. Утверждать, что один движок лучше работает с gfx906, оснований нет: в материалах таких данных не приводится.
Чек-лист для честного сравнения на MI50:
- убедиться, что сборка действительно использует GPU: смотреть логи загрузки и фактическую загрузку VRAM;
- взять одну модель и один и тот же GGUF-файл в обоих инструментах;
- выставить одинаковую длину контекста и одинаковую выгрузку слоёв;
- замерить декодирование, prefill и время до первого токена;
- прогнать тест дважды-трижды: первый прогон искажают прогрев и кэши.
Для llama.cpp на Debian есть отдельный разбор стека с llama-swap (быстрый локальный стек для Qwen 3.8 27B): там показано, как на результат влияют prefill и generation, спекулятивное декодирование, KV-кэш и настройки VRAM. Тот же набор факторов стоит держать в голове при сравнении с любой другой средой.
Ограничения 16 ГБ VRAM: что важно учитывать до запуска
16 ГБ для модели класса 35B - тесная рамка, и упирается она в три вещи.
- Веса. Даже 4-битный квант близок к пределу, поэтому часть слоёв уходит в системную RAM, а каждое обращение туда стоит скорости.
- Контекст. KV-кэш растёт с длиной промпта и числом слоёв; длинный контекст на такой модели съедает гигабайты. Квантование кэша помогает, но расход не отменяет.
- Соседние процессы. Браузер с аппаратным ускорением, второй инстанс модели, композитор рабочего стола: всё это вычитается из доступной памяти и превращает стабильный запуск в лотерею.
Оценить заранее просто: посмотреть размер файла модели, прикинуть KV-кэш под нужную длину контекста, оставить 1-2 ГБ запаса на драйвер и систему. Как соотносятся агрессивно низкий квант и умеренный, разобрано в сравнении IQ1_S против Q4: экономия памяти и предсказуемость результата там оказываются разными величинами, и выбирать приходится под задачу.
Стоит ли переходить на Strata: чек-лист решения
Пять шагов, которые заменяют чтение рейтингов:
- Поддержка. Модель и ваше железо есть в актуальной сборке Strata? Если сборки под ваш бэкенд нет, дальше идти незачем.
- Сценарий. Strata даёт то, чего не даёт текущий инструмент: серверный режим, API, работу с длинным контекстом, спекулятивное декодирование? Ответ ищите в документации, а не в анонсах.
- Свои задачи. Возьмите 3-5 реальных запросов из своей работы и прогоните на одинаковых настройках в обоих инструментах. Оценивайте качество, формат, тон и удобство правок (рекомендация из методологического разбора).
- Замеры. Скорость декодирования, время до первого токена, потребление VRAM при одинаковом кванте и контексте.
- Стабильность. Длинный диалог, большой промпт, повторные прогоны. Если инструмент падает или уходит в своп, разница в токенах в секунду уже не важна.
Когда Strata имеет смысл, а когда нет
Смысл есть, когда инструмент закрывает ваш сценарий и проходит проверку на ваших задачах и вашем железе. Плюс когда вы готовы разбираться с документацией: вокруг молодого проекта меньше готовых гайдов, чем вокруг llama.cpp, и часть вопросов придётся решать самому.
Смысла нет, когда связка llama.cpp плюс ваша модель уже даёт нужный результат: переход ради перехода отнимает время и добавляет точку отказа. В материалах нет данных о функциях Strata, поэтому окончательный ответ даёт только сочетание документации и собственных замеров.
Что в итоге: как читать новость о поддержке Qwen 3.6 35B
Новость короткая: в Strata появилась поддержка Qwen 3.6 35B. Она расширяет выбор моделей в этой среде и ничего не говорит о том, быстрее Strata llama.cpp или медленнее. Единственный отзыв о просадке скорости декодирования на MI50 16 ГБ - повод проверить самому на своей конфигурации, а не основание делать выводы за всех владельцев AMD-карт.
Следующий шаг: посмотреть, есть ли сборка под ваш бэкенд, выбрать квант под доступную VRAM с запасом на KV-кэш, прогнать 3-5 своих задач в Strata и llama.cpp на одинаковых настройках и сравнить скорость декодирования, время до первого токена, память и качество ответов. Если разницы в вашем сценарии не видно, разумно остаться на том, что уже работает.