Что вошло в LlamAmpere v0.6.3
Анонс LlamAmpere v0.6.3 опубликован 6 ноября 2026 года. В релизе два изменения: в проект добавлена модель Qwen Flash Next и обновлён формат квантования AmpereInteger+. Автор заявляет значимый прирост скорости и качества относительно других вариантов и приводит замеры для связки 30 090 + 64 ГБ: около 120+ токенов/с на глубине 100K контекста и prefill выше 3000 токенов/с на первых 100K. Цифры и формулировки взяты из анонса.
Практический смысл релиза в трёх пунктах. Он про длинный контекст: замеры сделаны на глубине 100K, где многие домашние сборки уже теряют скорость. Он про сравнение с конкретными альтернативами: QFN, Unsloth Dynamic 3.1 (UD v3.1) и Strata. И он про память: ниже определённого порога кванты QFN автор использовать не советует.
Все цифры ниже - заявления автора проекта. Независимых замеров LlamAmpere v0.6.3 в открытых материалах нет, поэтому воспринимать эти значения стоит как ориентир для собственной проверки, а не как гарантированный результат на вашем железе.
Qwen Flash Next: что это за модель в контексте релиза
Qwen Flash Next - модель, которую v0.6.3 добавила в LlamAmpere. В анонсе она идёт вместе с квантами QFN: таким сокращением автор обозначает сборки Qwen Flash Next под свой формат. Заявленные метрики относятся именно к этой связке: около 120+ токенов/с на глубине 100K и prefill выше 3000 токенов/с на первых 100K контекста.
Других характеристик модели в релизных материалах нет: ни числа параметров, ни раскладки по VRAM, ни данных о лицензии. Выбирать сборку только по названию не стоит. Оценивать её имеет смысл по двум параметрам, которые автор приводит: скорость на длинном контексте и снижение ошибки относительно альтернативных квантов.
AmpereInteger+: что обновилось в формате квантования
AmpereInteger+ - формат квантования, над которым автор LlamAmpere продолжает работу. В v0.6.3 вошли обновления формата, а энкодер автор анонсировал, но не выпустил: на момент публикации его в сборке нет. Планировать задачи, которые зависят от энкодера, пока рано.
Деталей реализации в анонсе не раскрывают: ни схемы группировки весов, ни обработки выбросов, ни калибровочного набора. Судить о формате приходится по результату: заявленное снижение ошибки на 50% относительно прежней версии QFN для этого размера карты и на 27% относительно улучшенного кванта UD. Это единственная проверяемая часть заявления, и сопоставлять со своим сценарием стоит именно её.
Производительность на 30 090 + 64 ГБ: цифры и что они значат
Анонс приводит два числа для связки 30 090 + 64 ГБ: около 120+ токенов/с при генерации на глубине 100K и prefill выше 3000 токенов/с на первых 100K контекста. Оба показателя относятся к одной конфигурации, и переносить их на другую карту или другой объём памяти нельзя: автор прямо оговаривает, что итог зависит от CPU и RAM.
Глубина 100K значит, что генерация идёт, когда в контексте уже около ста тысяч токенов. Для практики это сценарии с большим PDF, длинной перепиской, кодовой базой или результатами поиска в RAG. На таких объёмах основная часть бюджета уходит на внимание, и падение скорости идёт ступенями: чем длиннее контекст, тем дороже каждый следующий токен.
Decode и prefill: почему оба показателя важны
Decode - генерация ответа. Модель выдаёт токены по одному, и скорость здесь ограничена чтением весов и KV-кеша из памяти. Prefill - обработка входного промпта: он считается параллельно, поэтому измеряется тысячами токенов в секунду. Разрыв между 120+ токенами/с decode и 3000+ токенами/с prefill почти тридцатикратный, и это нормальное соотношение.
Что из этого критично, зависит от задачи. Чат и агентные циклы упираются в decode: если ответ печатается 5 токенов/с, работать невозможно. Длинные промпты, вставка документа целиком, RAG с десятком чанков упираются в prefill: при 300 токенах/с вставка 80K контекста займёт больше четырёх минут, при 3000 - около получаса делить на тридцать, то есть примерно 27 секунд. Конфигурация с prefill выше 3000 на первых 100K как раз и означает, что такие вставки не превращаются в ожидание.
Оговорка по замеру: prefill указан на первых 100K, то есть на начальном участке контекста. Как ведёт себя prefill на глубине 200K и дальше, в анонсе не сказано.
Насколько снизилась ошибка: -50% и -27% относительно чего
Два процента в анонсе относятся к разным базам сравнения, и путать их нельзя. Первый: снижение ошибки на 50% относительно версии QFN, которая была доступна для этого размера карты несколько дней назад. Второй: снижение на 27% относительно улучшенного кванта UD, в заголовке поста указан вариант UD v3.1 3XXS. Оба числа относительные, абсолютных значений качества в анонсе нет.
Контекст, который помогает понять планку требований. Исходные сборки Strata (3XS и 2XS) автор сам называет очень низкими по качеству: больше 0,17 KLD для варианта 3XS. Ранняя работа над LlamAmpere давала на 20% большую скорость и примерно на 15% меньшую ошибку, но проигрывала 4-битному Qwen 27b, поэтому релиза не было. Автор сравнивает не с пустым местом, а с квантами, которые сам считает рабочими.
Что это значит для выбора. Снижение ошибки на 27% относительно UD v3.1 - аргумент в пользу QFN, если задача чувствительна к точности: извлечение фактов из документов, код, работа с таблицами. Для черновиков и пересказов разница в таких пределах часто не видна. И держите в голове: KLD и проценты ошибки не переводятся напрямую в качество ответа, это метрика расхождения распределений.
Почему 3XS-класс файл не рекомендован
В анонсе упомянут 3XS-класс файл: примерно на 10% быстрее основной сборки, но качество выше исходной Strata 3bpw лишь примерно на 15%. Автор прямо пишет, что не рекомендует его. Логика простая: +10% к скорости почти не меняет пользовательский опыт, а слабый прирост качества над 3-битной базой означает, что за скорость платят точностью.
На фоне истории Strata это особенно заметно. Исходные 3XS и 2XS показывали больше 0,17 KLD, что автор называет очень низким качеством. Файл, который лишь на 15% лучше такой базы, остаётся близко к ней по поведению. Если задача допускает ошибки (черновики, суммаризация с последующей проверкой), вариант имеет смысл. Для кода, агентных вызовов инструментов и точных выборок из документов - нет.
Кому подходит конфигурация 12+64 ГБ
По заявлению автора, решение будет хорошо работать и для конфигураций 12+64 ГБ. Это ответ на главный вопрос для владельцев карт с 12 ГБ VRAM и 64 ГБ системной памяти. Цифр для такой связки в анонсе нет: 120+ токенов/с и prefill выше 3000 относятся к 30 090 + 64 ГБ. Ждать тех же значений на 12 ГБ VRAM не стоит. Формулировка про 12+64 ГБ принадлежит автору релиза.
Практическая рамка такая: 12+64 ГБ даёт возможность запуска и работы с длинным контекстом, а не гарантированную скорость. Часть весов и кеша в такой схеме уходит в оперативную память, и обмен идёт через шину. Чем ближе контекст к 100K, тем заметнее разница. Для интерактивного чата на коротких промптах конфигурация остаётся рабочей, для агентных циклов с постоянной переобработкой контекста - уже вопрос к CPU и RAM.
Почему скорость зависит от CPU и RAM
Формулировка автора: как и в случае со Strata, производительность зависит от скорости CPU и RAM. Причина в том, что GPU не держит всю модель и весь кеш. Квантованные веса, выгруженная часть слоёв и KV-кеш живут в системной памяти, и при каждом шаге генерации данные идут по шине в обе стороны. Быстрая DDR5 и процессор, который успевает готовить и отправлять эти данные, ускоряют работу; медленная память превращает decode в ожидание.
Prefill чувствителен к тому же: обработка входного контекста параллельна, и часть работы ложится на CPU. Отсюда типичная картина: на коротких промптах система выдаёт приличные цифры, а на 80-100K контекста проседает сильнее, чем конфигурация с запасом VRAM.
Материалы по этой механике уже есть на AI-Manual: переход с 32 на 64 ГБ DDR5 и запуск Qwen3.8-Flash-Next в 4-битном кванте UD-IQ4_XS показывает, как бюджет памяти распределяется между VRAM и RAM, а разбор движка Strata объясняет, почему на 12 ГБ VRAM тот же квант может идти заметно быстрее, чем в llama.cpp. Точных требований к частоте CPU или скорости RAM автор LlamAmpere не приводит, поэтому подбирать конфигурацию придётся по своим замерам.
Почему QFN не рекомендуются при памяти менее 54 ГБ
Автор не рекомендует никакие кванты QFN для конфигураций с общим объёмом памяти меньше 54 ГБ. Общий объём - это VRAM плюс RAM, а не один показатель. Порог объясняет, на кого рассчитан релиз: связки вроде 30 090 + 64 ГБ и 12+64 ГБ проходят с запасом, а системы с 32 ГБ оперативной памяти и 12-16 ГБ VRAM в него не укладываются. Рекомендация про 54 ГБ дана в том же анонсе.
Причин в анонсе не расписывают, есть только рекомендация. Практический вывод от этого не меняется: если у вас меньше 54 ГБ суммарно, ждать от QFN заявленных 120+ токенов/с и качества на уровне минус 27% ошибки относительно UD не стоит. Механика понятна и без деталей формата: чем меньше памяти, тем больше слоёв и кеша уходит на диск или в медленный обмен, и тем сильнее просадка на длинном контексте.
Что делать, если памяти меньше. Для таких конфигураций автор предлагает пробовать coder pruned варианты. Альтернативы - UD v3.1 и Strata, у которых есть рабочие сборки под скромные объёмы VRAM. Сравнение трёх квантов Qwen 3.8 на 16 ГБ VRAM на задачах AtCoder (Swift 1.5 IQ2_XS, Flash Next IQ3_S и 27B IQ3_S) показывает, как ведут себя агрессивные сборки при ограниченной памяти: рост thinking effort почти не добавлял решённых задач, зато увеличивал время и упоры в лимит токенов. Ориентир полезный: сжатие бьёт по качеству сильнее, чем кажется по названию кванта.
Как выбрать между QFN, UD v3.1 и Strata
Три варианта решают разные задачи, и выбор упирается в память и в чувствительность к ошибкам.
| Вариант | Что известно из анонса и материалов | Когда смотреть |
|---|---|---|
| QFN (LlamAmpere v0.6.3) | Минус 50% ошибки к прежней версии QFN для этого размера карты, минус 27% к UD v3.1 3XXS; около 120+ токенов/с на глубине 100K, prefill выше 3000/с на 30 090 + 64 ГБ | Память от 54 ГБ суммарно, длинный контекст, точность важнее скорости |
| UD v3.1 | База сравнения для QFN; в тесте на M5 Max в Strata дал 117 токенов/с decode и +15% успеха в задачах к базовому варианту | Кодинг-агенты, память в пределах 12+64 ГБ, нужен обкатанный квант |
| Strata | Исходные 3XS и 2XS - больше 0,17 KLD; 3XS-класс файл на 10% быстрее, но только +15% к Strata 3bpw, не рекомендован | Нужен движок под скромную VRAM, а не максимальное качество |
| 3XS-класс файл | Около 10% быстрее, +15% качества к Strata 3bpw | Черновики и пересказы, где ошибки допустимы |
Про UD v3.1 стоит помнить оговорку: 117 токенов/с и +15% успеха в задачах получены на M5 Max в Strata с квантами Unsloth Dynamic 3.1, а не на 30 090 + 64 ГБ и не в LlamAmpere. Замер опубликован отдельно от релиза. Это другая платформа и другой стек, поэтому сравнивать значения напрямую с 120+ токенами/с из анонса QFN нельзя.
Под кодинг выбор стоит делать по поведению кванта в многошаговых сценариях, а не только по TPS. Именно там разница между UD v3.1 и более агрессивными сборками проявляется заметнее. Разбор Unsloth Dynamic v3.1 для Qwen3.8-Flash-Next помогает понять, что меняется между BF16, Q8_0, Q5_1 и IQ4_NL с учётом VRAM и KV-кеша, и заодно объясняет механику engram switching.
Практический чек-лист перед переходом на v0.6.3
Короткий список того, что стоит проверить до скачивания сборки.
- Посчитайте общий объём памяти: VRAM плюс RAM. Меньше 54 ГБ - QFN не ваш вариант, смотрите UD v3.1, Strata или coder pruned сборки.
- Оцените CPU и RAM как второй по важности фактор после видеокарты. На 12+64 ГБ именно они определяют, удержится ли скорость на глубине 80-100K.
- Определите узкое место: prefill (длинные вставки документов, RAG) или decode (диалог, агентные циклы). От этого зависит, какие цифры вообще смотреть.
- Не гонитесь за 3XS-класс файлом ради +10% скорости: прирост качества около 15% над Strata 3bpw автор считает недостаточным.
- Заложите время на собственный замер: цифры анонса получены на 30 090 + 64 ГБ, ваша связка даст другой результат.
- Не планируйте задачи на энкодере AmpereInteger+: он анонсирован, но ещё не выпущен.
LlamAmpere v0.6.3 интересна как рабочий вариант для длинного контекста при памяти от 54 ГБ: заявленные 120+ токенов/с на глубине 100K и prefill выше 3000/с закрывают сценарии, где домашние сборки обычно сдаются. Если суммарной памяти меньше, релиз полезен скорее как ориентир по квантам: прогоните UD v3.1 и Strata на своих задачах и сравните с прежней версией QFN, если она у вас уже работает.