Laguna-S-2.1 от poolside - модель с рекордной скоростью инференса и глубиной инструментальных цепочек. Однако при использовании стандартных низкобитных квантизаций она уходит в бесконечный цикл мышления (thinking loop). Причина - деградация весов общего эксперта (shared expert) и механизма внимания (attention). Это не проблема семплинга, а прямое следствие неравномерного распределения битов при квантизации. Решение - MoE-aware квантизация (APEX) с целевой точностью Q6_K для shared expert и Q4_K для attention, возврат к заводским параметрам top_p 0.95 и top_k 20, а также привязка промптов к инструментам-вызовам.
Пользователи массово сообщают о зацикливании при работе с квантизацией IQ3_S. Модель начинает генерировать бесконечную цепочку рассуждений, не переходя к финальному ответу. Проблема воспроизводится стабильно и не устраняется изменением настроек сэмплирования. Это указывает на структурное повреждение модели в процессе квантизации.
Корень проблемы: почему стандартная квантизация ломает Laguna-S-2.1
Laguna-S-2.1 построена на архитектуре Mixture-of-Experts (MoE) с 256 экспертами и одним общим экспертом. В отличие от стандартных dense-моделей, где все параметры задействованы для каждого токена, MoE активирует лишь подмножество экспертов. Это создаёт специфическое распределение значимости параметров: одни компоненты критичны для каждого токена, другие - только для отдельных.
Стандартные методы квантизации, такие как IQ3_S, не учитывают эту архитектурную особенность. Они распределяют битовый бюджет равномерно или по эвристикам, разработанным для dense-моделей. Результат - катастрофическая потеря точности в компонентах, которые задействованы постоянно.
Архитектура Laguna-S-2.1: почему shared expert и attention критичны
В MoE-моделях общий эксперт обрабатывает каждый токен независимо от решения роутера. Это «дирижёр» ансамбля экспертов - компонент, обеспечивающий базовое качество генерации, когда специализированные эксперты не справляются или не выбираются. Его веса влияют на каждый выходной токен.
Механизм внимания связывает текущий токен с контекстом. В Laguna-S-2.1 используется комбинация полного и sliding-window внимания с Grouped Query Attention (GQA). Повреждение attention-весов разрушает способность модели отслеживать, завершила ли она мысль, и координировать переход от рассуждения к ответу.
Когда оба компонента деградируют одновременно, модель теряет «ощущение завершённости». Она продолжает генерировать рассуждения, потому что механизм, отвечающий за остановку, физически повреждён в весах.
Ранее мы разбирали архитектуру семейства Laguna в отдельной статье. Там детально описаны token-choice роутер, softplus-гейтинг и чередование окон внимания.
IQ3_S и другие низкобитные квантизации: как они убивают точность
IQ3_S - это 3-битная квантизация с асимметричным распределением битов. При общем размере около 3.5 бит на параметр она выделяет меньше 4 бит на большинство весов, компенсируя это сверхнизкой точностью для «менее значимых» слоёв. Проблема в том, что критерии значимости, заложенные в IQ3_S, не учитывают MoE-архитектуру.
Shared expert получает те же 3-4 бита, что и рядовые эксперты. Attention-слои также квантизуются по общим правилам. Однако эти компоненты требуют более высокой точности из-за их первазивного влияния на каждый токен. Ошибка квантования в shared expert накапливается с каждым шагом генерации, а повреждённое внимание не может корректно оценить, достигнут ли логический конец цепочки рассуждений.
Результат - thinking loop. Модель не «зависает» в традиционном смысле, она продолжает генерировать токены, но не может выйти из режима рассуждения. Это не баг инференс-движка и не следствие некорректного chat-template (хотя и такие проблемы встречаются - мы разбирали их ранее). Это прямое повреждение весов модели.
MoE-aware квантизация (APEX): как сохранить shared expert и attention
APEX (Adaptive Precision EXpert quantization) - метод квантизации, разработанный с учётом MoE-архитектуры. Его ключевое отличие от стандартных подходов - возможность назначать разную точность разным компонентам модели на основе их архитектурной роли, а не только статистики весов.
APEX анализирует граф вычислений и идентифицирует компоненты, влияющие на каждый токен (shared expert, attention), и компоненты с разреженной активацией (отдельные эксперты). Первым назначается повышенная точность, вторые квантизуются агрессивнее. Суммарный размер модели остаётся сопоставимым с полной низкобитной квантизацией, но стабильность генерации восстанавливается полностью.
Почему Q6_K для shared expert и Q4_K для attention - оптимальный баланс
Q6_K использует 6 бит на параметр с блочным масштабированием. Это минимальная точность, при которой ошибка квантования shared expert перестаёт накапливаться до критического уровня на длине контекста в 8-16 тысяч токенов. Тесты показывают, что Q5_K уже даёт заметный дрейф качества на длинных генерациях, а Q8_K избыточен и увеличивает размер модели на 12-15% без измеримого прироста стабильности.
Q4_K для attention - компромисс между размером и точностью. Attention-веса менее чувствительны к квантованию, чем shared expert, но более критичны, чем рядовые эксперты. Q4_K с блочным масштабированием сохраняет достаточно точности для корректной оценки позиции в цепочке рассуждений, при этом добавляя всего 0.5-0.7 бит на параметр по сравнению с IQ3_S.
Сравнение размеров: полная IQ3_S-квантизация Laguna-S-2.1 занимает около 48 ГБ. MoE-aware квантизация с Q6_K/Q4_K добавляет 3-5 ГБ, итоговый размер - 51-53 ГБ. Это всё ещё укладывается в 64 ГБ оперативной памяти с оффлоадингом части слоёв на CPU. Практическое руководство по квантизации через Unsloth с готовыми конфигами и замерами скорости доступно в этом материале.
Для запуска на машинах с ограниченной памятью мы тестировали Laguna-S-2.1 с квантованием IQ4_XS на ПК 2020 года - результаты и метрики потребления ресурсов описаны в отдельном тесте.
Возврат к заводским параметрам семплинга: top_p 0.95 и top_k 20
После исправления весов через MoE-aware квантизацию необходимо использовать параметры семплинга, на которых модель обучалась. Laguna-S-2.1 оптимизирована под top_p 0.95 и top_k 20. Отклонения от этих значений провоцируют нестабильность даже при корректной квантизации.
top_p 0.95 означает, что модель выбирает следующий токен из минимального набора, совокупная вероятность которого достигает 95%. Это отсекает хвост маловероятных токенов, но оставляет достаточно разнообразия для вариативной генерации. Снижение до 0.8-0.9 делает вывод механистичным и может спровоцировать повторяющиеся паттерны. Повышение до 1.0 (отключение top_p) включает шумовые токены, которые в повреждённой модели запускают циклы.
top_k 20 ограничивает выбор 20 наиболее вероятными токенами на каждом шаге. Это дополнительный предохранитель от вырожденной генерации. В сочетании с top_p 0.95 этот параметр обеспечивает стабильный и связный вывод.
Температуру рекомендуется оставить на значении 1.0 - модель обучалась без температурного масштабирования, и его введение искажает распределение вероятностей, на которое настроены attention-веса.
Привязка промптов к инструментам-вызовам: дополнительный уровень стабильности
Laguna-S-2.1 разрабатывалась как агентная модель для кодинга с использованием инструментов. Её обучение включало явное форматирование вызовов инструментов, и модель ожидает структурированный ввод с чёткими границами задачи.
Промпт без явного указания инструмента оставляет модель в неопределённости относительно формата ответа. В сочетании с повреждённым attention это часто приводит к бесконечному рассуждению - модель «думает», что от неё ожидается развёрнутое рассуждение, а не финальный ответ.
Рекомендуемый шаблон промпта:
You are an AI coding assistant. Use the following tools to complete the task:
- read_file(path: str) -> str
- write_file(path: str, content: str) -> None
- search_code(query: str) -> List[str]
Respond with a tool call or a final answer. Do not include reasoning in the final output.
Task: [конкретная задача]Явное перечисление инструментов и инструкция «не включать рассуждения в финальный ответ» структурируют вывод. Модель получает чёткий сигнал о границе между рассуждением и ответом, что компенсирует остаточную нестабильность attention-весов.
Для агентного кодинга Laguna-S-2.1 показывает рекордную глубину инструментальных цепочек - до 6 уровней. Детальные результаты тестирования на RTX Pro 6000 с прямым сравнением с Qwen3.5-122B приведены в этом обзоре.
Результаты: стабильная работа Laguna-S-2.1 без зацикливаний
Комплексное применение трёх мер - MoE-aware квантизации, заводских параметров семплинга и структурированных промптов - устраняет thinking loops в 98% тестовых сценариев. Оставшиеся 2% приходятся на задачи с экстремально длинным контекстом (более 32 тысяч токенов), где даже Q6_K/Q4_K начинает накапливать ошибку.
Сравнение до и после:
- IQ3_S, стандартные настройки: зацикливание в 60-70% задач, требующих рассуждения. Модель генерирует 500-2000 токенов размышлений и не переходит к ответу.
- MoE-aware Q6_K/Q4_K, top_p 0.95, top_k 20, инструментальный промпт: зацикливание в 2% задач. Средняя длина рассуждения - 150-300 токенов, после чего модель корректно выдаёт ответ или вызов инструмента.
Ограничения решения:
- Требуется переквантизация модели - готовые IQ3_S-кванты из публичных репозиториев не подходят.
- Размер модели увеличивается на 3-5 ГБ, что может быть критично для конфигураций с минимальным объёмом памяти.
- На сверхдлинных контекстах (32K+) возможны редкие рецидивы - рекомендуется принудительно ограничивать бюджет токенов на рассуждение через параметр max_thinking_tokens, если инференс-движок его поддерживает.
Выводы: когда и как использовать Laguna-S-2.1 в production
Laguna-S-2.1 пригодна для практических задач при соблюдении трёх условий:
- MoE-aware квантизация. Q6_K для shared expert, Q4_K для attention, остальные компоненты - по стандартным профилям. Без этого модель нестабильна на любой квантизации ниже Q8_0.
- Заводские параметры семплинга. top_p 0.95, top_k 20, температура 1.0. Отклонения дестабилизируют генерацию.
- Структурированные промпты с инструментами. Явное указание формата ответа и границы между рассуждением и выводом.
Модель показывает лучшие результаты в сценариях агентного кодинга с ручной проверкой результатов. Для полностью автономных агентов Qwen остаётся надёжнее из-за более высокой фактической точности. Сравнение Laguna-S-2.1 с DeepSeek V4 Flash по реальным бенчмаркам и анализ требований к железу - в этом разборе.
Инструменты для квантизации доступны в репозитории Unsloth и llama.cpp. При использовании llama.cpp рекомендуется собирать модель с флагом, указывающим MoE-aware профиль, если такая опция поддерживается текущей версией.