В ноябре 2026 года в r/LocalLLaMA появился короткий отчёт: во время шестичасового прогона Qwen 3.8 Flash Next запуталась в собственных повторяющихся ошибках, и пользователь описал её состояние как «getting stressed», то есть нервничающее. Запуск шёл с квантованием IQ3_S в режиме high effort на платформе strata, и это единственный подобный эпизод, который автор заметил за весь прогон (исходное сообщение).
Сразу о границах данных. В отчёте нет логов, трассировок шагов рассуждения, счётчиков повторов и метрик качества. Ситуацию никто не воспроизводил на других квантах или режимах усилий. IQ3_S и high effort здесь условия запуска, а не доказанная причина. «Сбивается с толку» и «нервничает» описывают впечатление человека от вывода модели, а не измеренное состояние.
Фактическая канва такая: модель выдавала повторяющиеся ошибочные шаги, пользователь это заметил, эпизод был один за шесть часов. Чего в отчёте нет: частоты ошибок, их характера, момента возникновения, зависимости от длины контекста и сравнения с другими настройками. Дальше разбираем механизмы, которые могут давать похожую картину, и то, как собрать данные вместо догадок.
Что известно о случае: короткий отчёт и его границы
Исходное сообщение состоит из нескольких предложений. Ценность в нём даёт не описание «состояния» модели, а два элемента: перечень условий запуска и указание на редкость события. Всё остальное читатель достраивает сам, и именно здесь появляются рискованные выводы.
Условия запуска: IQ3_S, high effort и strata
IQ3_S - схема агрессивного квантования в формате GGUF: веса хранятся с низкой точностью, чтобы модель помещалась в память. High effort - режим, в котором модель тратит больше вычислений на рассуждение перед финальным ответом. Strata - платформа запуска; в отчёте она указана одной строкой, без версии, конфигурации роутинга и параметров сэмплирования.
Материалы не описывают, как strata обрабатывает историю диалога, бюджет токенов и сэмплинг. Приписывать платформе вклад в эпизод нельзя: для этого нужны хотя бы её версия и настройки запроса. То же касается режима усилий: сам факт включения high effort не говорит, что он стал причиной.
Что в отчёте факт, а что интерпретация
Рабочий критерий простой: факт - то, что можно залогировать и повторить; интерпретация - всё остальное, включая метафоры о настроении модели.
| Формулировка в отчёте | Что можно утверждать |
|---|---|
| «getting confused» | Модель выдавала шаги, которые пользователь счёл ошибочными; характер и частота ошибок не описаны. |
| «getting stressed» | Антропоморфная метафора; измеряемого состояния модели за ней нет. |
| «only time in a 6hr run» | Один замеченный эпизод за прогон; статистики по частоте нет. |
| «IQ3_S on high effort on strata» | Условия запуска; причинная связь с поведением не проверялась. |
Формулировка «getting stressed» из поста читается как реакция человека, который смотрел на повторяющиеся ошибки несколько часов. Для сообщества это нормальная стенография, для диагностики бесполезная: «стресс» нельзя измерить, а «сбилась с толку» не задаёт порог, после которого сбой считается сбоем.
Почему такие эпизоды вообще возникают: квантование, режим усилий и длина прогона
Три фактора ниже дают рамку для диагностики, а не вердикт по конкретному случаю. Материалы не подтверждают причину, поэтому каждый пункт - гипотеза с механикой, которую можно проверить у себя.
IQ3_S и стабильность вывода: что может дать агрессивное квантование
Квантование переводит веса в формат с меньшей точностью. Чем ниже битность, тем грубее округление и тем выше шанс, что на редких токенах и многошаговых рассуждениях модель выберет неоптимальный путь. Ошибка не исчезает: она попадает в контекст и становится опорой для следующего шага. Так появляется цепочка, где модель повторяет один и тот же неверный ход.
По этой логике агрессивные схемы вроде IQ3_S чаще попадают в сообщения о странном поведении. Доказательством такие рассуждения не становятся: в отчёте нет сравнения IQ3_S с Q4_K_M, Q6 или Q8 на одинаковых промптах, нет замеров качества и нет повторных прогонов.
High effort: помогает или провоцирует зацикливание
Режим усилий задаёт бюджет на рассуждение. Модель генерирует больше промежуточных шагов перед ответом, и у неё больше возможностей как найти верное решение, так и закрепиться на ошибочной ветке. Если ранний шаг неверен, дополнительные вычисления уходят на развитие этой ветки, а снаружи это выглядит как повторение одной и той же ошибки.
Ориентир даёт разбор трёх квантов Qwen 3.8 на 14 задачах AtCoder: повышение усилий почти не добавило новых решений, зато добавило времени и упоров в лимит токенов. Выборка небольшая и относится к другому набору задач, но показывает, что high effort не гарантирует прогресса. Про стабильность Qwen 3.8 Flash Next в материалах данных нет, поэтому связь high effort с этим эпизодом остаётся гипотезой.
Отдельный сюжет - переразмышление. Тест на 500+ заданиях по кодингу, pandas и локальному RAG отмечает, что Flash-Next мешает переразмышление там, где достаточно короткого ответа. Чем длиннее цепочка, тем больше в ней места для самоподдерживающейся ошибки.
Шестичасовой прогон: накопление ошибок и дрейф
Длинный прогон увеличивает число шагов и объём контекста. Ранняя ошибка остаётся в истории, влияет на следующие решения и постепенно уводит модель от задачи: это дрейф. Сбои, незаметные на коротком запросе, на шести часах могут накапливаться до заметного эффекта.
Единичность эпизода за шесть часов - важный сигнал. Он говорит о редком событии, а не о систематическом отказе. Статистики по частоте в отчёте нет, поэтому оценки вида «один сбой на N тысяч токенов» были бы выдумкой.
Что известно о Qwen 3.8 Flash Next и её квантах
Qwen 3.8 Flash Next - экспериментальная MoE-модель на 125 млрд параметров с 6 млрд активных, не считая 51 млрд в n-gram-эмбеддингах и 4 млрд в MTP. Qwen описывает её как превью архитектуры для Qwen4 (обзор открытых моделей ноября 2026).
Архитектура MoE и почему это важно для стабильности
В MoE на каждом шаге работает не вся сеть: маршрутизатор выбирает экспертов под конкретный токен. Вычисления падают до уровня активных параметров, но добавляется слой сложности - маршрутизация. Ошибка в выборе экспертов или в распределении нагрузки влияет на весь дальнейший шаг.
Как именно архитектура связана с описанным эпизодом, материалы не говорят. Локальный прогон Flash-Next в llama.cpp с UD_Q4_K_M показывает другую грань: код и OSS-репозитории модель закрывает уверенно, а на простом вопросе уходит в многословный лабиринт. Это не сбой квантования, а особенность поведения на шагах рассуждения.
Кванты Unsloth, Dynamic v3.1 и MTP
Unsloth публикует GGUF-кванты Qwen3.8-Flash-Next, пересобранные по схеме Dynamic v3.1 с добавлением MTP; по данным команды, MTP ускоряет генерацию в 1,3-1,7 раза (тот же обзор). Самый маленький квант весит 66,4 ГБ, то есть модель рассчитана на рабочую станцию (там же).
Отсюда популярность IQ3_S: при весе базового кванта 66,4 ГБ каждый шаг вверх по битности добавляет десятки гигабайт, а вместе с ними требования к RAM и VRAM. Ускорение от MTP и качество весов - разные вещи: в материалах нет данных, как MTP или Dynamic v3.1 влияют на стабильность длинного вывода.
Как диагностировать подобные сбои на практике
Без данных эпизод остаётся впечатлением. Минимальный набор для разбора стоит собирать заранее, до того как прогон уйдёт на шестой час.
Что логировать при длительных прогонах
- полный промпт, системные инструкции и версию harness;
- настройки: квант, режим усилий, версию платформы, температуру и top-p, бюджет токенов;
- пошаговый вывод, включая блоки рассуждения и вызовы инструментов;
- метки времени на каждом шаге;
- признаки повторов: одинаковые абзацы, циклические вызовы, рост длины без продвижения к результату;
- потребление RAM и VRAM, попадание в кэш экспертов, скорость декодирования.
Именно этих данных нет в исходном отчёте, поэтому причину установить нельзя. Многочасовой эксперимент с MoE-инференсом в llama.cpp показывает, зачем нужны такие замеры: без фиксации версии, патчей и конфигурации одинаковые на вид прогоны дают разные цифры.
Как отличить повторяющуюся ошибку от разовой
Критериев четыре. Воспроизводимость: тот же промпт на тех же настройках даёт ту же ошибку. Частота: сколько раз сбой повторился на сотню шагов. Зависимость от задачи: ломается только длинная цепочка рассуждений или любой тип запроса. Реакция на изменение: исчезает ли ошибка при смене кванта или режима усилий.
В описанном случае эпизод был единственным за шесть часов, а повторных прогонов не было. Этого достаточно, чтобы зафиксировать наблюдение, и недостаточно, чтобы говорить о систематическом отказе.
Когда менять настройки или квантование
Менять стоит после того, как ошибка воспроизведена хотя бы дважды на одной конфигурации. Иначе любая правка смешает эффект от нового кванта с обычной вариативностью сэмплирования, и вы получите не вывод, а новое впечатление.
Смена квантования: что сравнивать и как
Сравнение имеет смысл на одинаковых промптах, одинаковой температуре, одинаковом бюджете токенов и одной версии платформы. Фиксируйте частоту и характер ошибок, а не общее впечатление от ответов. Готовых сравнений IQ3_S с другими квантами Flash-Next в материалах нет, поэтому цифры придётся собирать самостоятельно.
Пример того, как выбор кванта упирается в железо: сравнение Qwen3.8-Flash-Next IQ3-S и DeepSeek-V4.1-Flash IQ2-XXS на 128 ГБ DDR4 и четырёх RTX 3080. Там решают скорость декодирования и доступная VRAM, а не абстрактное качество.
Компромисс очевиден: Q4_K_M, Q6 или Q8 снимут часть вопросов к точности весов, но потребуют заметно больше памяти. Для модели с минимальным квантом 66,4 ГБ это не всегда возможно на домашней машине. Если переход на более высокий квант недоступен, разумнее ограничить длину прогона и добавить контрольные точки с сохранением состояния.
Смена режима усилий и другие настройки
Проверка вклада high effort простая: прогнать тот же сценарий на более низком режиме и сравнить поведение на одинаковых промптах. Исчезли повторы, значит бюджет рассуждения влияет. Остались, смотрите квант, сэмплинг, обработку истории и платформу. В материалах нет данных о влиянии high effort на стабильность, поэтому это проверка гипотезы, а не готовое решение.
Итог: что можно и чего нельзя утверждать по этому случаю
Можно утверждать: один пользователь за шестичасовой прогон заметил, как Qwen 3.8 Flash Next повторяет ошибочные шаги, и описал её поведение как нервничающее. Запуск шёл с IQ3_S в режиме high effort на strata (пост). Эпизод был единственным за прогон.
Нельзя утверждать, что причиной стали IQ3_S или high effort, что модель испытывает состояние, похожее на стресс, и что проблема системная. Логов, метрик и воспроизведения нет. Квантование и режим усилий остаются правдоподобными факторами, которые нужно проверять, а не объяснением.
Практический вывод: встретили похожее сообщение, смотрите, есть ли в нём настройки, логи и повторные прогоны. Заметили сбой у себя, сохраните пошаговый вывод, посчитайте частоту, сравните IQ3_S с другим квантом и high effort с более низким режимом. Один эпизод за шесть часов даёт повод проверить конфигурацию, но не повод объявлять модель сломанной.