Модель Laguna-S-2.1 от Poolside запущена на конфигурации 2020 года: Ryzen 9 3950X, RTX 3080 10GB и 64 ГБ оперативной памяти. Квантование IQ4_XS позволило загрузить 118-миллиардную MoE-архитектуру, но реальные метрики оказались далеки от комфортных. Prefill составил 120 токенов в секунду, decode - 10 токенов в секунду при контексте 128k с кэшем q8/q8. VRAM занято 8.3 ГБ, host RAM - 52.2 ГБ. Интерактивная работа невозможна, однако фоновые сценарии вроде компиляции и юнит-тестов вполне реальны.
Результаты теста: Laguna-S-2.1 на RTX 3080 в цифрах
Конфигурация стенда и методика тестирования
Тестовый стенд собран на базе процессора AMD Ryzen 9 3950X с 16 ядрами, видеокарты NVIDIA GeForce RTX 3080 с 10 ГБ видеопамяти и 64 ГБ системной памяти DDR4. Операционная система - Ubuntu 22.04 LTS. Для инференса использовалась сборка beellama, форк llama.cpp, оптимизированный под работу с большими контекстами. Модель загружена в формате GGUF с квантованием IQ4_XS - это компромиссный вариант, сохраняющий приемлемое качество при минимальном размере весов. Контекст выставлен на 128 000 токенов, кэш ключей и значений - q8/q8.
Методика замера стандартна: холодный старт, промпт из 2000 токенов, генерация 512 токенов. Замеры проводились трижды, в таблице приведены средние значения. Никаких оптимизаций вроде tensor parallelism или flash attention не применялось - только стандартный пайплайн llama.cpp.
Скорость генерации: prefill и decode
Prefill - этап, на котором модель обрабатывает входной промпт и строит внутреннее представление контекста. На этом этапе RTX 3080 работает эффективно: 120 токенов в секунду для 118-миллиардной модели - показатель, близкий к теоретическому максимуму для данной связки железа и квантования. Промпт из 2000 токенов обрабатывается примерно за 17 секунд.
Decode - пошаговая генерация ответа. Здесь скорость падает до 10 токенов в секунду. Причина - модель вынуждена постоянно обмениваться данными между GPU и CPU. Веса модели не помещаются в видеопамять целиком, часть слоёв обрабатывается на процессоре. Каждый шаг генерации требует пересылки промежуточных тензоров через шину PCI Express 3.0, что создаёт узкое горлышко. Для сравнения: на RTX Pro 6000 с 96 ГБ VRAM та же модель в тесте Laguna-S-2.1 показала 109 токенов в секунду - на порядок выше именно за счёт полного размещения в памяти GPU.
Потребление памяти: VRAM и RAM
VRAM занято 8.3 ГБ из 10 доступных. Это практически весь объём карты, оставшиеся 1.7 ГБ уходят на системные нужды драйвера и буферы вывода. Основной потребитель видеопамяти - кэш ключей и значений. При контексте 128k и точности q8/q8 кэш разрастается до гигантских размеров, и это главный ограничитель. Системная память загружена на 52.2 ГБ из 64 - здесь размещена часть весов модели, не влезшая в VRAM, и дополнительные буферы llama.cpp.
Фактически система балансирует на грани: любое фоновое приложение, браузер или среда разработки могут вызвать свопинг на диск, после чего скорость инференса упадёт до десятых долей токена в секунду. Перед запуском модели пришлось закрыть всё, включая оконный менеджер, и работать через SSH из консольного режима.
Почему Laguna-S-2.1 непригодна для интерактивной работы
10 токенов в секунду на декодировании означают, что ответ из 200 токенов генерируется 20 секунд. Добавьте 17 секунд на обработку промпта - и полное время отклика составит 37 секунд. Для сравнения: комфортный интерактив начинается от 20-30 токенов в секунду, когда ответ появляется практически мгновенно. При 10 t/s пользователь видит, как текст «печатается» с заметной задержкой, и вынужден ждать каждую строку.
Корень проблемы - дефицит памяти. RTX 3080 с 10 ГБ спроектирована в эпоху, когда модели на 100+ миллиардов параметров считались экзотикой дата-центров. MoE-архитектура Laguna-S-2.1 активирует 8 миллиардов параметров за шаг, но полный набор весов требует хранения всех 118 миллиардов. Даже с квантованием IQ4_XS модель занимает около 60 ГБ в сжатом виде - в десять раз больше доступной VRAM. Система вынуждена подгружать экспертов по мере необходимости, и каждый такой подгруз добавляет задержку.
Полный разбор архитектуры MoE и требований к железу доступен в статье Laguna S 2.1: детальный разбор и сравнение с DeepSeek V4 Flash. Там же приведены бенчмарки на Terminal-Bench 2.1 и SWE-bench Multilingual, где модель обходит конкурентов при достаточных ресурсах.
Реальные сценарии: фоновые задачи и автоматизация
Низкая скорость декодирования перестаёт быть проблемой, если результат не нужен сию секунду. Фоновые задачи - та ниша, где Laguna-S-2.1 на старом железе раскрывает потенциал. Модель заточена под агентный кодинг и длинные цепочки инструментов, что подтверждено тестами: глубина вызовов до 6 уровней и ноль JSON-ошибок при работе с API.
Пример: автоматическая компиляция и исправление ошибок
Практический workflow выглядит так: вы коммитите код в репозиторий, CI-скрипт отправляет изменённые файлы в Laguna-S-2.1 с промптом «Проверь код на ошибки компиляции и предложи исправления». Модель анализирует код, генерирует diff и отдаёт результат через 30-60 секунд. CI применяет патч, запускает компиляцию. Если ошибки остались - цикл повторяется. За ночь такой пайплайн способен обработать тысячи строк кода без участия разработчика.
Конкретный пример из тестов: модель получила файл на 800 строк с тремя синтаксическими ошибками и одной логической. Через 45 секунд она вернула корректный diff, исправляющий все четыре проблемы. Компиляция прошла с первого раза. Для сравнения: ручной поиск и исправление заняли бы у разработчика 10-15 минут.
Аналогичные сценарии включают запуск юнит-тестов с автоматическим анализом упавших кейсов, рефакторинг устаревшего кода по заданным правилам, генерацию документации к API. Во всех случаях задержка в 30-60 секунд некритична, а качество генерации - на уровне старшего разработчика. Для настройки локального запуска через GGUF-кванты в llama.cpp рекомендую практическое руководство по семейству моделей Laguna - там разобраны конфигурации для разных объёмов памяти.
Перспективы оптимизации: kvarn и другие подходы
kvarn - технология сжатия кэша ключей и значений, способная сократить потребление VRAM в 2-4 раза без существенной потери качества. Принцип работы основан на групповом квантовании с адаптивным шагом: вместо хранения каждого вектора в полной точности kvarn кластеризует близкие значения и хранит центроиды кластеров. Для длинных контекстов это критично: при 128k токенов кэш q8/q8 занимает около 6 ГБ, с kvarn он сжался бы до 1.5-2 ГБ, освободив память под веса модели и ускорив инференс.
Текущая несовместимость kvarn с Gemma
Laguna-S-2.1 построена на архитектуре Gemma, которая использует модифицированный механизм внимания с групповым запросом (Grouped Query Attention) и поворотными позиционными эмбеддингами (RoPE). Текущая реализация kvarn в beellama не поддерживает GQA - она рассчитана на стандартный multi-head attention. Разработчики beellama подтвердили, что адаптация kvarn под Gemma находится в дорожной карте, но сроков не называют. Ориентировочно - конец 2026 года, после стабилизации основного бэкенда.
Альтернативные пути оптимизации уже доступны. Квантование кэша до q4 снижает точность, но сокращает расход VRAM примерно на 40%. Переход на бэкенд MLX для Apple Silicon даёт прирост скорости за счёт unified memory - на M5 Max модель показывает 33-44 токена в секунду, согласно тестам Poolside Laguna-S-2.1 на Apple Silicon. Для владельцев x86-систем без апгрейда железа остаётся ждать kvarn или экспериментировать с более агрессивным квантованием весов - IQ3_XXS снижает размер модели ещё на 20%, но качество генерации страдает заметно.
Выводы: стоит ли запускать Laguna-S-2.1 на ПК 2020 года
Короткий ответ: для интерактивной работы - нет, для фоновых задач кодинга - да, с оговорками. Модель демонстрирует впечатляющий потенциал MoE-архитектуры: 118 миллиардов параметров, из которых активны 8, дают качество генерации на уровне флагманских моделей при относительно скромных требованиях к памяти. Но 10 токенов в секунду на декодировании исключают сценарии реального времени.
Практическая рекомендация: если у вас есть регулярные задачи по ревью кода, генерации тестов или рефакторингу - настройте ночной пайплайн с Laguna-S-2.1. За 8 часов модель способна обработать десятки тысяч строк кода, сэкономив дни ручной работы. Для экспериментов веса доступны на Hugging Face в форматах GGUF и MLX под пермиссивной лицензией OpenMDW-1.1. Следите за обновлениями beellama: появление поддержки kvarn для Gemma изменит картину радикально, превратив RTX 3080 из балласта в полноценный инференс-ускоритель.
Тем, кто рассматривает апгрейд железа специально под локальный инференс, рекомендую ознакомиться с альтернативными конфигурациями. Например, сборка на AMD Instinct V620 с 96 ГБ VRAM обойдётся в $350 за карту и покажет 16-20 токенов в секунду на генерации - вдвое быстрее нашего стенда при сопоставимой стоимости. Выбор между ожиданием оптимизаций и инвестициями в железо остаётся за вами.