Qwen3.5 122B против Qwen3 Next 80B на 64 ГБ RAM: парадокс качества при квантовании и узкие места CPU-инференса

TL;DR: Главные выводы тестирования Qwen на 64 ГБ ОЗУ

Тестирование крупных языковых моделей на CPU с 64 ГБ оперативной памяти показало парадоксальный результат. Модель Qwen3.5 122B A10B, сжатая с помощью низкобитного квантования UD-Q2_K_XL, демонстрирует качественно лучшие ответы по глубине и точности знаний в нишевых темах по сравнению с Qwen3 Next 80B, использующей более высокое квантование UD-Q4_K_XL. Причиной выступает архитектура Mixture of Experts: в 122B модели на каждый запрос активируется около 10 миллиардов параметров, тогда как в 80B версии - только 3.5 миллиарда. Это напрямую влияет на достоверность информации.

Однако за это качество приходится платить катастрофически низкой скоростью генерации - около 2.9 токенов в секунду для Qwen3.5 122B. Это делает модель непригодной для интерактивных или агентских рабочих нагрузок, где важна отзывчивость. Основной вывод для практиков: выбирайте 122B модель для асинхронных задач, где критически важна глубина и точность результата, а 80B версию - для более интерактивных сценариев с приемлемой скоростью ответа.

Методология тестирования: оборудование, модели и метрики

Тесты проводились на стандартной рабочей станции, представляющей типичную конфигурацию для разработки. Основной акцент - оценка производительности исключительно на центральном процессоре, что актуально для сценариев развертывания без выделенных GPU.

Аппаратное обеспечение:

• Процессор: Intel Core i9-13900K
• Оперативная память: 64 ГБ DDR4 3200 МГц (2 модуля DIMM по 32 ГБ)
• Система хранения: NVMe SSD
• Операционная система: Ubuntu 24.04 LTS

Программный стек и модели:

• Инференс-движок: llama.cpp (последняя версия с поддержкой MoE)
• Модель 1: Qwen3.5 122B A10B, квантование UD-Q2_K_XL
• Модель 2: Qwen3 Next 80B, квантование UD-Q4_K_XL

Измеряемые метрики:

1. Скорость генерации (токенов/с) - усредненная по серии из 10 промптов.
2. Пиковое потребление оперативной памяти во время инференса.
3. Качество ответов - субъективная оценка по шкале от 1 до 5 по критериям: глубина раскрытия темы, точность фактов, отсутствие галлюцинаций, полезность для специалиста. Оценка проводилась на наборе из 20 промптов по узким техническим темам (архитектура микросервисов, специфичные API Kubernetes, тонкости оптимизации SQL-запросов для PostgreSQL).

Конфигурация аппаратного обеспечения: роль типа памяти

Производительность инференса больших моделей на CPU в первую очередь упирается в пропускную способность подсистемы памяти. В наших тестах использовалась память DDR4, что является распространённым стандартом для многих существующих систем, как подтверждают и рыночные данные о доступности модулей большой ёмкости. Ключевое ограничение DDR4 - максимальная теоретическая пропускная способность около 25.6 ГБ/с для двухканального режима на частоте 3200 МГц.

Для сравнения, современный стандарт DDR5 на аналогичной частоте может обеспечивать до 38.4 ГБ/с. В контексте CPU-инференса, где модель целиком загружена в RAM и процессор постоянно считывает веса, эта разница напрямую влияет на скорость обработки. На системах с DDR5 можно ожидать увеличения скорости генерации на 15-25% для тех же моделей и квантований. Таким образом, при сборке новой системы под задачи локального AI стоит отдавать предпочтение DDR5. Однако для большинства существующих конфигураций с 64 ГБ RAM DDR4 остаётся реальностью, и наши цифры отражают именно этот, наиболее распространённый, сценарий.

Архитектурный разбор: почему Mixture of Experts решает всё

Ключ к пониманию парадоксального результата тестов лежит в архитектуре Mixture of Experts (MoE). В отличие от плотных (dense) моделей, где все параметры используются для каждого вычисления, MoE-модели состоят из множества небольших экспертных сетей (экспертов) и маршрутизатора. Маршрутизатор для каждого токена или группы токенов решает, к каким экспертам (обычно 2-4 из общего пула) направить данные для обработки. Это позволяет создавать модели с огромным общим количеством параметров (например, 122B), но активировать на каждый запрос лишь их небольшую часть.

В случае Qwen3.5 122B A10B общее число параметров составляет 122 миллиарда, но активируется примерно 10 миллиардов. Qwen3 Next 80B имеет 80 миллиардов общих параметров и активирует около 3.5 миллиардов. Именно этот показатель - количество активных параметров на запрос - становится главным драйвером качества. Больший объём активных знаний позволяет модели точнее работать со сложными, специализированными запросами, минимизируя галлюцинации и поверхностные ответы.

10B против 3.5B активных параметров: что это значит для качества?

Разница почти в три раза напрямую трансформируется в практические результаты. Например, на промпт о тонкостях настройки autovacuum в PostgreSQL для высоконагруженной базы с смешанной нагрузкой (OLTP + аналитика), Qwen3.5 122B дала развернутый ответ, включающий рекомендации по изменению параметров autovacuum_vacuum_scale_factor, autovacuum_analyze_scale_factor, настройки стоимости I/O операций и предостережения по мониторингу таблицы pg_stat_user_tables. Ответ Qwen3 Next 80B был корректным, но общим, ограничиваясь стандартными рекомендациями из документации без учёта специфики гибридной нагрузки.

В другом тесте, касающемся реализации circuit breaker паттерна в Go с использованием библиотеки go-resilience, 122B модель привела пример кода с правильной обработкой таймаутов и fallback-логикой, тогда как 80B версия описала паттерн концептуально, без конкретной реализации. Большее количество активных параметров позволяет модели не просто «знать о» концепции, но и извлекать более глубокие, прикладные аспекты знания.

Компромисс скорость/качество: цифры и реальные сценарии

Цифры, полученные в тестах, чётко очерчивают границы применимости каждой модели. Результаты представлены в сводной таблице.

Скорость генерации Qwen3 Next 80B ожидаемо почти в два раза выше. Однако главный вывод не в абсолютных цифрах, а в их интерпретации для рабочих задач. Скорость в 2.9 токенов/с приемлема для фоновой обработки документации или анализа текстов, где результат готовится минутами. Но для чат-интерфейса, где пользователь ожидает ответ за несколько секунд, это неприемлемо. Более высокая скорость 80B модели делает её условно пригодной для интерактивных сценариев, но с оговоркой на возможное снижение глубины ответов в сложных темах.

Анализ узкого места: почему промпты на CPU обрабатываются катастрофически медленно

Низкая скорость генерации - лишь часть проблемы. Настоящее узкое место для CPU-инференса - фаза предзаполнения (prefill), когда модель кодирует входной промпт. Эта операция требует полного прохода через все слои трансформера и крайне чувствительна к скорости CPU и латентности памяти. Обработка промпта длиной в 2000 токенов может занимать десятки секунд, что полностью исключает использование таких моделей для задач вроде семантического поиска по большим архивам документов, где необходимо быстро обрабатывать множество длинных запросов.

Это напоминает проблемы стабильности системы, которые иногда возникают и в более традиционном софте. Например, как в случае с обновлением Windows KB5101650, которое было заблокировано для устройств Dell из-за проблем с производительностью и перегревом. В контексте долгих вычислений на CPU стабильность системы и эффективное охлаждение становятся критически важными факторами. Для инференса больших моделей это означает необходимость обеспечения не только достаточного объёма RAM, но и надёжного thermal design мощности (TDP) процессора.

Практические рекомендации: для каких задач что выбрать в 2026

На основе проведённого анализа можно сформулировать чёткие рекомендации по выбору модели для различных сценариев.

Выбирайте Qwen3.5 122B (UD-Q2_K_XL), если:

• Задача асинхронная: генерация технической документации, глубокий анализ текстовых отчётов, создание контента.
• Критически важна максимальная достоверность и глубина ответов в узкоспециализированной области (DevOps, финансы, медицина).
• Скорость получения ответа не является определяющим фактором (допустимо ожидание от 30 секунд до нескольких минут).

Выбирайте Qwen3 Next 80B (UD-Q4_K_XL), если:

• Нужен более интерактивный опыт: прототипирование чат-интерфейса, получение быстрых справок по коду, мозговые штурмы.
• Задачи лежат в области общих знаний или широко распространённых технологий (базовый Python, веб-разработка, популярные фреймворки).
• Есть жёсткие ограничения по времени ответа (желательно в пределах 10-20 секунд).

Ни одна из этих моделей на CPU с 64 ГБ RAM не подходит для:

• Семантического поиска по большим архивам (тысячи документов).
• Сложных агентских цепочек рассуждений (Agentic Workflows) с множеством последовательных вызовов инструментов (tool calls).
• Любых задач реального времени (real-time analytics, live-ассистенты).

Для таких сценариев необходимо либо использование GPU, как в случае тестирования Qwen3.6 27B на RTX 3090, где достигалась скорость в 60 токенов/с, либо рассмотрение облачных инференс-сервисов.

Оборудование и настройки для запуска: пошаговый чек-лист

1. Проверка оборудования: Убедитесь, что в системе установлено 64 ГБ RAM. Для новых сборок предпочтительна DDR5. Используйте sudo dmidecode --type memory или free -h в Linux для проверки.
2. Установка llama.cpp: Склонируйте репозиторий и соберите с поддержкой Metal (macOS) или CUDA/OpenBLAS (Linux). Для CPU оптимальна сборка с OpenBLAS: make LLAMA_OPENBLAS=1.
3. Загрузка модели: Используйте команду для загрузки нужной квантованной версии. Например, для Qwen3.5 122B:
   ./main -m ./qwen3.5-122b-a10b-q2_K_XL.gguf -p "Ваш промпт" -n 512
4. Базовые параметры запуска:
   • -c 8192 или -c 16384 (контекстное окно).
   • -b 512 (размер батча, влияет на потребление памяти).
   • -t 12 (количество потоков CPU, обычно равно количеству физических ядер).
5. Мониторинг: Во время работы следите за потреблением памяти с помощью htop или top. Убедитесь, что не происходит активного использования swap, это резко снизит производительность.

Для тех, кто рассматривает более производительные конфигурации, полезным будет разбор производительности GLM-5.2 на кластере из 8 GPU GB10, демонстрирующий, как распределённые вычисления решают проблемы скорости для больших моделей.

Взгляд в будущее: куда движется рынок локальных больших моделей

Текущая ситуация с выбором между медленным гигантом (122B) и более быстрой, но менее глубокой моделью (80B) на CPU высвечивает явный рыночный разрыв. Существует обилие небольших (7B-30B) моделей, отлично работающих на CPU и даже edge-устройствах, как, например, семейство Granite 4.0 Nano от IBM. И есть гиганты (80B+), требующие для эффективной работы мощных GPU. Однако практически отсутствуют оптимальные решения среднего размера (~60B параметров), которые бы балансировали качество, сопоставимое с большими моделями, и скорость, приемлемую для CPU с 64-128 ГБ RAM.

Прогноз на 2026-2027 годы - активное развитие именно этого сегмента. Архитектурные оптимизации, такие как более эффективные MoE-конфигурации и продвинутые методы квантования (например, тернарное), позволят создать модели в районе 60 миллиардов параметров, которые будут активировать 8-12B параметров на запрос, обеспечивая высокое качество, и при этом умещаться в оперативную память с приемлемой скоростью генерации на CPU (целевой ориентир - 10-15 токенов/с). Для бизнеса это означает, что текущий выбор между Qwen3.5 122B и Qwen3 Next 80B - тактическое решение. Стоит готовить инфраструктуру и процессы к миграции на более сбалансированные модели среднего размера, которые появятся в ближайшие год-два и займут нишу эффективного CPU-инференса для сложных задач.

Подписаться на канал