Что показал локальный запуск Qwen3-Flash-Next: краткий разбор кейса
Пользователь под ником u/rm-rf-rm запустил Qwen3-Flash-Next (QFN) локально через llama.cpp с квантованием UD_Q4_K_M и режимом MTP. Кодом он остался доволен. На общих вопросах модель, по его словам, «теряется в собственном лабиринте»: отвечает многословно, плотно и на каждое уточнение выдаёт новое эссе. Пост опубликован в r/LocalLLaMA 31 октября 2026 года, модель в заголовке названа Qwen3.8-Flash-Next (обсуждение).
Короткий вывод, который стоит держать в голове: в этой конфигурации QFN ведёт себя как рабочий инструмент разработчика и как слабый аналитик. Код, оценка OSS-репозиториев, загрузка и запуск моделей у неё получаются. Вопрос про историю сна, где нет проверяемого результата, превратился в поток деталей, который трудно проверить.
Оговорка важна с самого начала: это опыт одного человека, без контрольного бенчмарка, без сравнения квантований, без замеров скорости и без опубликованной конфигурации железа. Всё, что ниже, описывает один запуск, а не паспортные характеристики модели.
Конфигурация запуска: llama.cpp, UD_Q4_K_M, MTP и параметры сэмплирования
Автор перечислил конфигурацию коротко: llama.cpp, квантование UD_Q4_K_M с MTP. Размер модели, объём VRAM, длину контекста и точную сборку llama.cpp он не указал, поэтому воспроизвести запуск один в один по посту нельзя.
MTP обычно расшифровывают как multi-token prediction: модель предсказывает несколько токенов за шаг, это ускоряет генерацию ценой дополнительной памяти. Приставка UD в имени файла, как правило, означает dynamic-квантование, где разным слоям достаётся разная точность. Q4_K_M в такой схеме держит четырёхбитные веса с повышенной точностью для части тензоров.
| Параметр | Значение | Что делает |
|---|---|---|
| temp | 1 | высокая температура, широкий разброс выбора токенов |
| top-p | 0.95 | ядро вероятностей почти не отсекается |
| top-k | 20 | выбор ограничен 20 самыми вероятными токенами |
| min-p | 0.00 | отсечение маловероятных токенов отключено |
| presence-penalty | 0 | штрафа за повтор темы нет |
| repeat-penalty | 1.0 | штрафа за повтор формулировок нет |
Три вещи в этом наборе стоят внимания. Температура 1.0 высокая: внутри разрешённого пула токены распределяются ровнее, и менее очевидный вариант проходит чаще. min-p 0.00 снимает отсечение маловероятных токенов. presence-penalty 0 и repeat-penalty 1.0 означают, что модель не штрафуют ни за повтор тем, ни за повтор формулировок.
Связь с многословностью выглядит логичной: без штрафов текст набухает, а высокая температура подталкивает к новым деталям вместо короткого ответа. Доказательством это не становится: в кейсе нет прогона с другими настройками, так что перед нами гипотеза, которую читателю стоит проверить самому.
Роль AGENTS.md и окружения pi/pi-web-access
Второй элемент конфигурации, минимальный AGENTS.md, автор описал как «mostly focused on sw related tasks», то есть в основном про задачи разработки. Такой файл задаёт рабочую рамку: перед моделью инженерный контекст, репозитории, команды, инструменты. Для кода это подспорье.
Окружение тоже названо: pi и расширение pi-web-access. pi в этой связке выступает обвязкой, через которую модель получает инструменты, а pi-web-access, судя по названию, отвечает за доступ к веб-источникам. Деталей о том, как именно расширение влияло на ответы, в посте нет.
Данных о том, как AGENTS.md повлиял на рассуждения, в кейсе тоже нет. Это фактор контекста, а не доказанная причина. Похожий сюжет с минимальной обвязкой и странностями Qwen Flash Next после вызова инструментов разбирался в отдельном материале.
Где Qwen3-Flash-Next действительно сильна: код и смежные задачи
Автор прямо перечисляет, что получилось: кодинг и смежные задачи, включая оценку OSS-репозиториев, загрузку и запуск моделей. Формулировка из поста: «I was quite excited with how well QFN did with some coding and adjacent tasks» (пост автора).
Причина в характере задач. У них есть проверяемый результат: команда выполнилась или нет, зависимости встали или нет, структура репозитория совпадает с README или нет. Модель идёт по шагам и опирается на контекст AGENTS.md. Ошибку видно сразу, и её цена локальна.
Оценка OSS-репозиториев и работа с моделями: почему это получается
Оценка чужого репозитория сводится к чтению структуры, зависимостей, лицензии, инструкций по сборке и признаков живости проекта. Загрузка и запуск модели, в свою очередь, последовательность команд, где сбой проявляется сообщением об ошибке. В обоих случаях цикл обратной связи короткий: неверный шаг ломается сразу, а не через десять абзацев текста.
Отладке помогает то же самое: тесты, логи, воспроизводимый сценарий. Как Qwen 3.8 27B выстраивает рассуждение при отладке кода, разбирали в этом кейсе.
Вывод по разделу: в описанной конфигурации QFN выглядит рабочим инструментом разработчика. Универсальным аналитиком она при этом не становится, потому что длинные рефакторинги, миграции и работа с большим контекстом в кейсе не проверялись.
Провал в общих рассуждениях: пример с историей сна
Для общей темы автор задал простой вопрос: люди всегда спали одним длинным отрезком, примерно восемь часов подряд, или в течение дня было несколько сессий сна, начиная с раннего Нового времени? Вопрос просит обзорного ответа с оговорками, а не эссе.
Ответ вышел чрезмерно многословным и плотным. Претензию автор сформулировал прямо: «The verbosity and dense way of writing is too much». Рядом добавил предположение, что такой стиль похож на дистилляцию из другой модели, и назвал Opus 5. Помечено это как ощущение («feels like»), поэтому остаётся догадкой, а не установленным фактом (источник).
Многословность и плотность: почему это мешает проверке ответа
В исследовательском вопросе нет компилятора, который скажет, что ответ не собирается. Единственный контроль, читатель, который идёт по утверждениям. Когда текст плотный, без ясных шагов и без пометок, где факт, а где интерпретация, проверка растягивается и в какой-то момент просто прекращается.
Объём создаёт иллюзию полноты. Каждое уточнение добавляет детали, внимание расходуется, а уверенность в ответе не растёт. Многословность не равна корректности рассуждений, и в этом главный практический урок кейса.
Уточняющие вопросы и «лабиринт»: как модель теряет доверие
Автор задал три коротких уточнения: есть ли в ответе логические противоречия, почему это произошло и как исправить, чтобы не повторялось. Ожидание, сжатый разбор. Результат, огромные эссе, каждое из которых «открывало больше» деталей.
Финальная фраза из поста: «I have lost faith in what QFN is saying». Доверие ушло не из-за одной ошибки в ответе про сон, а из-за поведения на уточнениях.
Почему самопроверка через уточнения не сработала
Вопрос «есть ли противоречия в твоём ответе» требует удержать исходный текст, сопоставить его части и назвать расхождение. Модель вместо этого расширила объяснение: вместо проверки получилась новая генерация, где прежние утверждения обросли дополнительными слоями.
Причинная связь с параметрами сэмплирования не доказана. При этом набор temp 1, min-p 0.00 и repeat-penalty 1.0 не мешает тексту разрастаться, а top-p 0.95 оставляет широкий выбор токенов. В такой конфигурации уточнение легко превращается в новую ветку.
Параметры сэмплирования и контекст: что могли изменить temp 1, top-p 0.95 и top-k 20
Разбор по параметрам:
- temp 1. Высокая температура выравнивает вероятности внутри разрешённого пула. Модель чаще выбирает не самый очевидный токен, и текст уходит в сторону от прямого ответа.
- top-p 0.95. Ядро вероятностей почти не отсекается, в выборке остаются длинные хвосты формулировок.
- top-k 20. Единственное заметное ограничение в наборе: выбор сужен до 20 самых вероятных токенов. Это тормозит разрастание, но не отменяет высокую температуру внутри этих 20.
- min-p 0.00. Отсечение маловероятных токенов выключено полностью.
- presence-penalty 0 и repeat-penalty 1.0. Штрафов за повтор темы и формулировок нет, поэтому модель может возвращаться к одной мысли и наращивать объяснение.
Набор внутренне противоречив. top-k 20 сужает пул, а temp 1 повышает шанс на менее очевидный токен внутри пула. Отсутствие штрафов снимает тормоз для набухания текста. Это гипотеза о механике, а не измеренный результат: сравнений с другими настройками в кейсе нет.
Что попробовать, если хочется проверить гипотезу самостоятельно: снизить температуру до 0.6-0.7, поднять repeat-penalty до 1.05-1.1, включить min-p на уровне 0.02-0.05, ограничить ответ по длине. Это направление эксперимента, не гарантия. Общий разбор того, как температура и объём контекста бьют по следованию инструкциям, есть в отдельной статье.
Как минимальный AGENTS.md под задачи разработки сужает контекст
AGENTS.md задаёт рамку, и в этом кейсе она инженерная: репозитории, команды, инструменты. На вопросе про историю сна такая рамка не помогает, потому что модель получает тему без критериев проверки и без инструкции, как структурировать рассуждение.
Файл к тому же минимальный, правил в нём мало. Он не задаёт формат ответа, не требует ссылок на источники и не ограничивает объём. Отсутствие этих требований стоит держать в списке подозреваемых наравне с параметрами сэмплирования, хотя влияние AGENTS.md в кейсе не измерялось.
Многословность не равна корректности: как проверять рассуждения модели
Признаки, что ответ разваливается по логике, а не просто длинный:
- каждое уточнение добавляет новые детали вместо ответа на заданный вопрос;
- модель не называет конкретное противоречие, а пересказывает свой ответ другими словами;
- нет различия между проверенным утверждением и догадкой;
- объём растёт, а число проверяемых пунктов нет.
Приёмы диагностики: попросить список утверждений с пометками «проверено» и «не проверено», ограничить ответ пятью предложениями, потребовать источник по каждому факту, разбить задачу на шаги и проверять каждый отдельно. Работает это не всегда: ограничение объёма модель может обойти, уложив тот же поток мыслей в более плотные формулировки.
Отдельно смотрите на reasoning-блоки: шаблонные фразы и повторы там заметны быстрее, чем в финальном ответе. Как читать такие следы, разбирали на примере Qwen3.8-27B.
Стоит ли запускать Qwen3-Flash-Next локально: практические выводы
По этому кейсу QFN в связке llama.cpp + UD_Q4_K_M + MTP + минимальный AGENTS.md оправдана там, где результат проверяется автоматически или полуавтоматически: код, разбор репозитория, запуск модели, последовательность команд. На общих исследовательских вопросах она показала слабые рассуждения и многословность, поэтому её ответы стоит читать с проверкой.
Что сделать перед тем, как строить на ней рабочий процесс:
- Прогнать свои задачи с консервативными параметрами сэмплирования и сравнить с temp 1.
- Добавить в AGENTS.md требования к формату: короткий ответ, список источников, пометки о непроверенном.
- Проверить поведение на длинном контексте, поскольку в кейсе длина контекста не указана.
- Сравнить с другой моделью на вопросах, где нет проверяемого результата.
Ограничения кейса: почему нельзя делать общие выводы о модели
- субъективный опыт одного пользователя (u/rm-rf-rm), без контрольного бенчмарка;
- связь многословности с дистилляцией из Opus 5 остаётся предположением автора;
- влияние параметров сэмплирования и AGENTS.md на качество рассуждений не измерялось;
- нет сравнения с другими квантованиями, параметрами и длиной контекста;
- оценка «слабые рассуждения» опирается на один тематический пример и серию уточнений.
Кейс полезен как сигнал: он показывает, где именно ломается доверие к локальной модели и какие проверки стоит встроить в работу. Приговором модели он не становится. Если QFN нужна для кода, начните с задач с проверяемым результатом и держите рядом вторую модель для общих вопросов.