Telperion Qwen3.8-27B: MLA и GLA-g2, сжатие KV-кэша в 4 раза и рост SWE-bench

Что выпустила Telperion: латентные варианты Qwen3.8-27B

Telperion представила две сборки Qwen3.8-27B с латентным вниманием: Qwen3.8-27B-MLA и Qwen3.8-27B-GLA-g2. Кванты в них калиброваны под FP8 KV-кэш, и это сжимает кэш ключей и значений в 4 раза. Практический результат: почти 4-кратный рост максимального контекста на потребительском железе или почти 4-кратный рост числа параллельных запросов на серверном.

Качество при этом не просело. На SWE-bench Verified вариант MLA набрал 42,1% против 39,5% у базовой Qwen3.8-27B и израсходовал примерно на 20% меньше reasoning-токенов. Вариант GLA-g2 показал 39,4%, то есть остался на уровне базовой модели, но удержал 4-кратное сжатие KV-кэша и на одной GPU, и на двух. Переобучение не нужно: метод работает с моделями на grouped query attention. Исходники Telperion обещает открыть позже.

Запуск упростили плагином для vLLM, который проверили на RTX PRO 6000, H100 и связке 2× RTX 5060 Ti 16GB. Все цифры ниже приводит сама Telperion, независимых прогонов на момент публикации нет.

Ключевые цифры анонса

Источник всех значений - анонс Telperion в r/LocalLLaMA от 14 октября 2026 года. Это результаты производителя, а не сторонняя проверка, поэтому читать их стоит как заявленные цифры, а не как подтверждённый консенсус.

Как работает латентное внимание и что даёт сжатие KV-кэша в 4 раза

Латентное внимание меняет то, куда уходит видеопамять при длинном контексте. Механика простая, а эффект заметный.

Почему KV-кэш - главный ограничитель локального инференса

Веса модели загружаются один раз и дальше не растут. KV-кэш растёт линейно: чем длиннее контекст и чем больше одновременных запросов, тем больше памяти он занимает. На карте с 16 ГБ VRAM потолок обычно задаёт именно кэш, а не веса, поэтому 4-кратное сжатие поднимает планку там, где она мешает сильнее всего. Как это упирание в память выглядит на практике, разобрано в материале про Qwen3.8-27B в true Q4_K_M на RTX 5080 16 ГБ: бюджет памяти и KV-кэш там решают, какой контекст вообще получится поднять.

MLA и GLA-g2: в чём разница подходов

MLA сжимает ключи и значения в латентное представление и даёт 4,00× сжатие при TP=1. На двух устройствах картина хуже: сжатие падает до 2,28× из-за особенностей памяти при обслуживании MLA на multi-GPU. Именно поэтому Telperion сделала GLA-g2, групповое латентное внимание с двумя группами, которое держит 4,00× и при TP=1, и при TP=2.

Что это значит в цифрах на практике. Если на связке 2× RTX 5060 Ti 16GB вы упирались в контекст около 32K, то при 4-кратном сжатии кэша запас вырастает до примерно 128K при прочих равных. Это оценка по логике сжатия, а не измеренный результат: реальные значения зависят от квантизации, размера батча и настроек vLLM.

Бенчмарки: что реально показывают MLA и GLA-g2 на SWE-bench Verified

Главный публичный замер в анонсе - SWE-bench Verified. Условия: zero-shot, toolless, n больше 1500. Модель решала задачи из реальных репозиториев без инструментов и без примеров решений в промпте.

Почему рост с 39,5% до 42,1% - это заметно

Разница между 39,5% и 42,1% составляет 2,6 процентного пункта. Telperion описывает это как статистически различимый рост SWE-производительности на 6,58% в относительных величинах от базы. Для задач из реальных GitHub-репозиториев, где многошаговые правки легко рассыпаются, прибавка 2,6 п.п. на выборке больше 1500 задач выглядит содержательно. Экономия reasoning-токенов усиливает эффект: 0,88× у MLA и 0,86× у GLA-g2 означает, что ответы короче, а значит, инференс дешевле и быстрее.

Отдельная деталь про GLA-g2: его 39,4% практически совпадают с базой. Смысл этого варианта в сохранении качества при 4-кратном сжатии на одном и двух GPU, а не в приросте бенчмарка.

Ограничения бенчмарков Telperion

Тестирование проводила сама Telperion, независимого воспроизведения нет. Условия zero-shot и toolless описывают один сценарий: автономное решение задач без инструментов. В агентных пайплайнах с поиском, запуском тестов и вызовом функций поведение может отличаться. Полный набор бенчмарков обещан в version 2, когда у команды будет больше вычислительных ресурсов. Исходники метода пока закрыты, поэтому проверить результаты сторонним специалистам нечем. Детали замеров приведены в первоисточнике анонса.

Квантизация: FP8, INT4 и EXL3-4.0bwp - что выбрать под свою VRAM

Telperion приводит четыре формата с разным расходом памяти. Указанные объёмы включают MTP-голову и визуальный энкодер, то есть это полный вес сборки, а не только матрицы трансформера.

Как читать top-1 disagreement

top-1 disagreement показывает долю случаев, когда квантизованная модель выбирает другой первый токен, чем эталон. У FP8 рост 0,06%, расхождение на уровне погрешности. INT4 даёт 0,17%, EXL3-4.0bwp - 0,46%. На коротких ответах разница почти незаметна, на длинных цепочках рассуждений ошибки накапливаются, поэтому 0,46% стоит держать в голове. Это метрика расхождения предсказаний, а не прямое падение качества на конкретных задачах.

EXL3-4.0bwp: когда стоит возиться с плагином

EXL3-4.0bwp занимает 17,2 ГБ, это минимум среди четырёх вариантов, но требует кастомного плагина vLLM. Возня оправдана, если VRAM в обрез: одна карта на 24 ГБ или связка из двух по 16 ГБ, где ещё нужен запас под KV-кэш. Если есть 31,5 ГБ под FP8, разумнее взять FP8: памяти хватает, а расхождение минимально.

Ориентир по железу: на 2× RTX 5060 Ti 16GB (32 ГБ суммарно) реалистичны INT4 и EXL3, на одной RTX PRO 6000 или H100 - FP8.

Как запустить: vLLM-плагин и проверенное железо

Запуск идёт через плагин vLLM, который Telperion уже проверила на RTX PRO 6000, H100 и 2× RTX 5060 Ti 16GB. Для EXL3 нужен отдельный кастомный плагин. Модели не требуют переобучения, и именно это делает схему применимой к готовым весам без дообучения под новое внимание.

Что значит «совместим с grouped query attention»

В grouped query attention несколько голов запроса делят одну голову ключа и значения. Такой механизм используют многие современные модели, поэтому метод Telperion применим шире, чем к одной Qwen3.8-27B. Конкретных примеров других моделей в анонсе нет, так что обещать универсальность без оговорок не стоит.

Ограничения запуска на потребительском железе

Связка 2× RTX 5060 Ti 16GB даёт 32 ГБ суммарно. Этого хватает на INT4 (22,9 ГБ) и EXL3 (17,2 ГБ) с запасом под KV-кэш, но FP8 (31,5 ГБ) почти не оставляет места под кэш и активации. На одной GPU MLA даёт 4,00× сжатие, на двух только 2,28×, поэтому для dual-GPU сценариев логичнее GLA-g2. Плагин vLLM здесь стороннее расширение, а не часть основной поставки vLLM, поэтому обновления библиотеки могут его ломать. Как выглядит жизнь на границе по памяти, видно в отчёте про Qwen3.8-Flash на 12 ГБ VRAM, а практика запуска через vLLM с FP8 KV-кэшем разобрана в материале про Qwen3 27B INT4 на RTX 3090 с контекстом 144K.

MLA или GLA-g2: как выбрать под свой сценарий

Выбор сводится к числу GPU и приоритету между качеством и предсказуемым сжатием.

Сценарий 1: одна GPU, максимум качества

MLA плюс FP8, если хватает 31,5 ГБ. Вы получаете 42,1% на SWE-bench Verified, примерно на 20% меньше reasoning-токенов и 4,00× сжатие KV-кэша при TP=1. Для одной карты это лучший расклад по качеству. Что учесть: на двух GPU сжатие MLA падает до 2,28×, поэтому переносить схему на мульти-GPU без пересчёта не стоит. О том, как выжимать контекст и скорость на одной карте, есть разбор Qwen 3.8 27B на одной RTX 5090: nInfer, NVFP4 и честное сравнение локального запуска.

Сценарий 2: две GPU, максимум контекста и параллельных запросов

GLA-g2 плюс INT4 или EXL3. Сжатие 4,00× держится и при TP=1, и при TP=2, качество остаётся на уровне базы (39,4%), токенов уходит 0,86×. Прироста по бенчмарку не будет, зато сжатие предсказуемо на multi-GPU, а это важнее, когда планируется длинный контекст или много одновременных запросов.

Что дальше: открытые исходники, version 2 и Qwen4-27B

Telperion обещает открыть исходники метода позже, точных сроков не называет. Улучшенная version 2 с полным набором бенчмарков появится, когда у команды будет больше вычислительных ресурсов. В планах и sparse latent attention варианты Qwen4-27B после релиза этой модели.

Что это значит для практики. Сейчас это анонс с ограниченной воспроизводимостью: пайплайн с нуля не собрать, пока метод закрыт. Если нужен проверенный инструмент сегодня, разумно дождаться открытия исходников или независимых тестов. Если готовы экспериментировать на уже проверенном железе и брать готовые артефакты Telperion, стартуйте с GLA-g2 и INT4 на двух GPU либо с MLA и FP8 на одной, а перед продакшеном замерьте свой сценарий сами: заявленные цифры пока никто не перепроверил.

Подписаться на канал