Перейти к содержанию
Публикация AiManual

Компактные LLM до 9B: сравнение семи моделей, бенчмарки и реальные ограничения локального запуска

Семь компактных моделей до 9B: K2-Horizon-7B, Granite 4.2-8B, Qwen3.5-9B, MiMo, LFM2.5, Gemma 4 E4B и LFM3-VL-2B. Разбираем заявленные спецификации, бенчмарки п

Коротко

Что будет в материале

  1. 01

    Что сравниваем и почему цифры в таблицах нельзя читать построчно

  2. 02

    Спецификации семи моделей: размер, архитектура, контекст, модальности, лицензия

  3. 03

    Текстовые бенчмарки по категориям: где какая модель сильна

  4. 04

    Мультимодальные метрики: MMMU, MMMU-Pro и MathVista

Что сравниваем и почему цифры в таблицах нельзя читать построчно

В подборке семь моделей с числом параметров до 9B: K2-Horizon-7B (IFM), Granite 4.2-8B (IBM), Qwen3.5-9B (Qwen), MiMo-V2.6-Distill-Qwen-9B (Xiaomi), LFM2.5-8B-A1B и LFM3-VL-2B (обе Liquid), Gemma 4 E4B (Google). Четыре из них плотные, одна построена на смеси экспертов, одна гибридная, ещё две используют нестандартные схемы подсчёта параметров. Общий знаменатель: при квантизации такие веса реально держать в памяти рабочей машины с 8-16 ГБ VRAM.

Ключевая оговорка, без которой дальнейшая арифметика теряет смысл: баллы заявлены самими лабораториями и сняты в разных харнессах. K2-Horizon-7B мерили харнессом IFM, LFM-модели - харнессом Liquid, MiMo - харнессом Xiaomi, остальные цифры пришли из карт Granite, Qwen и Gemma. Разные харнессы означают разные промпты, настройки сэмплинга и число попыток на задачу. Сводка подборки фиксирует это прямым текстом: scores are lab-reported, take them with a grain of salt.

Практический смысл: таблица работает как фильтр, а не как вердикт. Разница в 10 пунктов между двумя строками может объясняться методикой замера сильнее, чем качеством модели. Решение принимают по совокупности признаков: архитектура, длина контекста, модальности, лицензия, поведение на ваших задачах и вашем железе.

Кто заявил цифры: харнессы IFM, Liquid, Xiaomi и собственные карты

Метка lab-reported значит ровно одно: число опубликовала лаборатория, которая сделала модель. В сводной таблице источник каждого балла помечен надстрочным индексом, и эти индексы несут больше информации, чем сами цифры.

  • a - карта K2-Horizon-7B, замеры в харнессе IFM
  • b - харнесс Liquid
  • c - карта MiMo, харнесс Xiaomi
  • d - avg@3 или результат на внутреннем наборе Xiaomi
  • e - метрика снята с текстового backbone LFM3-1.7B, а не с самой LFM3-VL-2B
  • без индекса - собственная карта модели, независимой проверки нет

Одинаковое название бенчмарка в двух строках не гарантирует одинаковый протокол. SWE-bench Verified у MiMo-V2.6-Distill-Qwen-9B посчитан как avg@3, то есть среднее по трём попыткам, у других моделей схема усреднения иная или не указана. IFEval и RULER у Liquid-моделей сняты их харнессом, у K2 - харнессом IFM. Такие числа сопоставимы по порядку величины, но не по десятым долям пункта.

Как читать таблицу: superscripts, avg@3 и «лучший в строке»

Чек-лист из пяти шагов экономит время при разборе любой сводки такого вида.

  1. Найдите надстрочный индекс у числа и сверьтесь с источником. Индекс b рядом с 56.1 значит, что цифру дал Liquid, а не независимый тест.
  2. Проверьте метрику усреднения. avg@3 и одиночный прогон дают разброс, который легко превышает разницу между соседними моделями.
  3. Не считайте жирный шрифт абсолютным преимуществом. Им помечен лучший результат в строке, а строки собраны из разных харнессов, и подпись к таблице обычно это оговаривает.
  4. Отделяйте заявленные цифры от независимых. Балл из карты модели не проверял никто, кроме её авторов.
  5. Прочерк не равен нулю. Отсутствие числа значит, что замер не публиковали, а не что модель провалила задачу.

Насколько хрупки такие сравнения, видно на любом независимом прогоне. Разбор Prism-ML Bonsai 2 показывает механику: около 91,5% на композитном наборе выглядят внушительно, пока не выясняется, что набор и методика свои, а значит в чужую таблицу эта цифра не встанет.

Спецификации семи моделей: размер, архитектура, контекст, модальности, лицензия

Характеристики ниже заявлены лабораториями и сведены в общую таблицу подборки. Их достаточно, чтобы отсеять неподходящие варианты до чтения бенчмарков.

МодельЛабораторияПараметры и архитектураКонтекстМодальностиЛицензия
K2-Horizon-7BIFM7B, dense512KтекстApache-2.0
Granite 4.2-8BIBM8B, dense, режим thinking128K, расширение до 512KтекстApache-2.0
Qwen3.5-9BQwen9B, hybrid (delta-net), thinking262K, расширение примерно до 1Mтекст, изображения, видеоApache-2.0
MiMo-V2.6-Distill-Qwen-9BXiaomi9B, SFT-версия Qwen3.5-9Bоколо 262Kтекст, зрение (visual coding)MIT
LFM2.5-8B-A1BLiquid8.3B общих, 1.5B активных, MoE128KтекстLFM 1.0
Gemma 4 E4BGoogle4.5B эффективных при 8B общих, PLE128Kтекст, изображения, аудиоApache-2.0
LFM3-VL-2BLiquid1.92B (1.73B backbone), thinking128Kтекст, изображения, видеоLFM 1.0

Первое, что бросается в глаза: число в названии модели и требования к памяти связаны слабо. У Gemma 4 E4B в имени 4B, а всего параметров 8B. У LFM2.5-8B-A1B активных параметров 1.5B, но держать в памяти нужно все 8.3B. У LFM3-VL-2B меньше двух миллиардов параметров, зато заявлены изображения и видео.

Dense, MoE и hybrid: чем архитектура меняет поведение при локальном запуске

В плотной модели на каждый токен работают все параметры. K2-Horizon-7B и Granite 4.2-8B устроены именно так: предсказуемая нагрузка, простой расчёт памяти, минимум сюрпризов при батчинге.

В MoE активируется только часть экспертов. У LFM2.5-8B-A1B это 1.5B активных из 8.3B общих. Выигрыш в скорости генерации реальный, объём весов при этом не уменьшается: все 8.3B лежат в памяти и именно они определяют, влезет модель в вашу видеокарту или нет.

Гибридная схема Qwen3.5-9B (delta-net, режим thinking) смешивает механизмы внимания. На практике это влияет на поведение при длинном контексте и на профиль памяти, поэтому цифру 262K из спецификации стоит проверять замером, а не принимать на веру.

Схема PLE у Gemma 4 E4B даёт 4.5B эффективных параметров при 8B общих. Считать память по «эффективным» параметрам нельзя, веса хранятся целиком. Если интересуют MoE-модели с малым числом активных параметров, отдельный разбор про MoE с ~2B активных даёт практические ориентиры по памяти на скромных GPU.

Контекст 128K, 262K и 512K: что реально значит расширение

Разделяйте базовый контекст и расширяемый. Granite 4.2-8B заявлен на 128K с расширением до 512K, Qwen3.5-9B на 262K с расширением примерно до 1M, K2-Horizon-7B сразу на 512K. У MiMo-D-9B базовый контекст около 262K без отдельной цифры расширения, у LFM2.5-8B-A1B, Gemma 4 E4B и LFM3-VL-2B 128K.

Расширение редко бывает бесплатным. KV-кэш растёт вместе с длиной последовательности, и на 512K или 1M токенов память кончается раньше, чем качество модели. Заявленные 512K у K2 не означают, что на 128K всё идеально: RULER 128K у неё 71.4, и это как раз проверка на длинной дистанции.

Лицензии: Apache-2.0, MIT и LFM 1.0

Apache-2.0 покрывает K2-Horizon-7B, Granite 4.2-8B, Qwen3.5-9B и Gemma 4 E4B. MIT у MiMo-V2.6-Distill-Qwen-9B. LFM 1.0 у обеих моделей Liquid, LFM2.5-8B-A1B и LFM3-VL-2B.

Первые две лицензии знакомы почти всем и обычно не мешают коммерческому использованию. LFM 1.0 отличается от них, и условия стоит прочитать целиком перед встраиванием модели в продукт: пересказывать их по чужим конспектам не стоит. Отдельный нюанс: MiMo-V2.6-Distill-Qwen-9B это SFT-производная Qwen3.5-9B, поэтому выбор между ними идёт не только по бенчмаркам, но и по тому, что дообучение изменило в поведении базовой модели.

Текстовые бенчмарки по категориям: где какая модель сильна

Ниже цифры из той же сводки, разложенные по задачам. Единого рейтинга не будет: у моделей разные сильные стороны, а кросс-харнессная оговорка из первого раздела действует на каждую строку.

МодельAIME 2026AIME 2025SWE-bench VerifiedGPQA DiamondIFEvalRULER 128K
K2-Horizon-7B90.290.372.475.691.571.4
Granite 4.2-8B92.586.747.764.191.8-
Qwen3.5-9B50.056.1 (харнесс b)50.881.790.0 (харнесс b)87.1 (харнесс b)
MiMo-V2.6-Distill-Qwen-9B42.542.561.1 (avg@3)58.6--
LFM2.5-8B-A1B-34.3 (харнесс b)0.5 (харнесс b)--18.8 (харнесс b)
Gemma 4 E4B------
LFM3-VL-2B--43.4 (backbone, e)63.4 (backbone, e)96.7 (backbone, e)65.6 (backbone, e)

Математика: AIME 2026 и AIME 2025

K2-Horizon-7B и Granite 4.2-8B заявляют почти олимпиадный уровень: 90.2 и 92.5 на AIME 2026, 90.3 и 86.7 на AIME 2025. Qwen3.5-9B в тех же строках даёт 50.0 и 56.1, MiMo-D-9B ровно 42.5 в обоих наборах, LFM2.5-8B-A1B 34.3 на AIME 2025 в харнессе Liquid.

Разрыв между 92.5 и 42.5 на одной и той же задаче слишком велик, чтобы объясняться только размером модели. Такой результат требует независимой проверки на ваших промптах: сказываются разные системные инструкции, настройки thinking и число попыток. Пока независимых прогонов нет, цифры K2 и Granite стоит держать в голове как заявку, а не как факт.

Код и агентные задачи: SWE-bench Verified

Здесь лидирует K2-Horizon-7B с 72.4, за ней MiMo-V2.6-Distill-Qwen-9B с 61.1 при усреднении по трём попыткам, Qwen3.5-9B с 50.8, Granite 4.2-8B с 47.7. LFM3-VL-2B показывает 43.4, но метрика снята с backbone LFM3-1.7B. LFM2.5-8B-A1B проваливает задачу с 0.5 в харнессе Liquid.

SWE-bench Verified проверяет исправление реальных задач в репозиториях, а не знание синтаксиса. Ноль с половиной у MoE-модели Liquid не значит, что она бесполезна в чате или суммаризации, но для агентного кодинга это красный флаг: модель не доводит правку до проходящего теста. Контекст сегмента хорошо виден на соседнем примере: Nanbeige 4.2-3B с 3B параметров заявляет 63.6 на Verified, то есть размер сам по себе не определяет результат в агентных задачах.

Знания: GPQA Diamond

В вопросах уровня эксперта лидирует Qwen3.5-9B с 81.7. Дальше K2-Horizon-7B с 75.6, Granite 4.2-8B с 64.1, LFM3-VL-2B с 63.4 из backbone и MiMo-V2.6-Distill-Qwen-9B с 58.6.

Интересный момент: MiMo-D-9B обучен на базе Qwen3.5-9B, но в знаниях отстаёт от неё на 23 пункта. SFT подтягивает одни навыки и просаживает другие, и это ровно тот случай, когда «производная от сильной модели» не означает «та же модель плюс бонусы».

Следование инструкциям: IFEval

LFM3-VL-2B заявляет 96.7, Granite 4.2-8B 91.8, K2-Horizon-7B 91.5, Qwen3.5-9B 90.0 в харнессе Liquid. Все четыре значения близки, и разница между ними на таких выборках вряд ли значима для практики.

Высокий IFEval у модели на 1.92B выглядит привлекательно, но метрика относится к текстовому backbone LFM3-1.7B. В мультимодальных сценариях поведение может отличаться, а собственных замеров IFEval для VL-режима в наборе нет.

Длинный контекст: RULER 128K

Qwen3.5-9B набирает 87.1, K2-Horizon-7B 71.4, LFM3-VL-2B 65.6 из backbone, LFM2.5-8B-A1B 18.8 в харнессе Liquid.

Пример с LFM2.5-8B-A1B самый показательный: контекст 128K заявлен, а RULER 128K даёт 18.8. Заявленная длина окна и способность работать на этой длине расходятся кардинально. У K2 заявлено 512K, но на 128K уже 71.4, то есть дальний край окна скорее маркетинговая цифра, чем рабочая зона.

Мультимодальные метрики: MMMU, MMMU-Pro и MathVista

Мультимодальных моделей в подборке четыре: Qwen3.5-9B (текст, изображения, видео), MiMo-V2.6-Distill-Qwen-9B (текст и зрение с акцентом на visual coding), Gemma 4 E4B (текст, изображения, аудио), LFM3-VL-2B (текст, изображения, видео).

МодельЗаявленные модальностиMMMU (val)MMMU-ProMathVista (mini)
Gemma 4 E4Bтекст, изображения, аудио78.452.685.7
LFM3-VL-2Bтекст, изображения, видео55.745.784.2
Qwen3.5-9Bтекст, изображения, видео---
MiMo-V2.6-Distill-Qwen-9Bтекст, зрение (visual coding)---

В наборе встречается ещё значение MMMU-Pro 70.1, но привязать его к конкретной модели из списка по доступным данным нельзя, поэтому в таблицу оно не попало. Переносить такие цифры на текстовые задачи тоже не стоит: мультимодальные бенчмарки меряют другие навыки, и модель с сильным MMMU может проигрывать в кодинге.

Vision и video: что заявлено и что не измерено

Отделяйте заявленную поддержку модальности от наличия метрики. У Qwen3.5-9B в спецификации есть видео, но ни одной метрики по видео в наборе нет. У Gemma 4 E4B заявлено аудио, и метрики по аудио тоже нет. Придумывать цифры в таких местах бессмысленно: их просто никто не публиковал.

Практический вывод для тех, кому нужна работа с видео или аудио: заявленной поддержки недостаточно. Собирайте небольшой набор своих примеров и проверяйте на нём, иначе рискуете взять модель, которая формат принимает, но содержание разбирает плохо.

Где заканчиваются бенчмарки: реальные ограничения локального запуска

Число параметров само по себе не гарантирует преимущества. В практических замерах на CPU лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B оказались в рейтинге ниже лидеров на 4B. Выборки при этом были малы, и статистически такие различия не различаются: сравнение лёгких LLM на CPU прямо оговаривает этот момент.

VRAM и RAM: сколько на самом деле нужно под 7B, 8B и 9B

Объём весов зависит от квантизации, а не только от числа параметров в названии. MoE-модель хранит все веса, даже если на токен работает лишь часть экспертов. Длинный контекст добавляет KV-кэш, и он растёт вместе с длиной промпта.

Ориентир из практики: модели на 5-7 ГБ занимали почти все 8 ГБ оперативной памяти, а на длинных запросах пик доходил до 7.7 ГБ, после чего сервер начинал писать в swap. Заявленные 512K или 1M контекста при локальном запуске упрутся в память намного раньше, чем в качество модели. Подборки под конкретные объёмы памяти помогают сузить список: рейтинг моделей под 10-16 ГБ VRAM показывает, как считается бюджет под квантование и контекст.

Скорость: почему MoE и кэш промпта меняют картину

MoE даёт измеримый выигрыш на CPU. В тех же замерах модель с 10B общих и 1.8B активных параметров генерировала 8.7 ток/с против примерно 5 ток/с у плотных 8B-моделей, занимая при этом 6.5 ГБ памяти. Модели на 8-9B в среднем отвечали в 1.5-2 раза дольше qwen3.5:4b без выигрыша в качестве.

Кэширование промпта ускоряет ответ в 2-3 раза у большинства моделей, но не у всех: у gemma3, granite и YandexGPT эффект оказался почти нулевым. Для Granite 4.2-8B это значит, что рассчитывать на ускорение от кэша без собственной проверки не стоит. Конкретных замеров ток/с для семи моделей подборки в наборе нет, поэтому обещать цифры для LFM2.5-8B-A1B или K2-Horizon-7B было бы выдумкой. Механику можно оценить по архитектуре: у LFM2.5-8B-A1B 1.5B активных параметров, что потенциально быстрее плотных 8B, но все 8.3B весов лежат в памяти.

Как выбрать модель под свою задачу: практический алгоритм

  1. Определите железо: доступная VRAM и RAM, приемлемая скорость генерации. Это отсекает больше моделей, чем любой бенчмарк.
  2. Определите задачу: кодинг и агентные сценарии, математика, знания, длинный контекст, мультимодальность, строгое следование формату.
  3. Отсеките по лицензии и модальностям. Нужно аудио, смотрите на Gemma 4 E4B, нужна коммерческая простота, берите Apache-2.0 или MIT.
  4. Посмотрите на архитектуру и заявленный контекст. MoE даёт скорость, dense даёт предсказуемость, расширенный контекст требует памяти.
  5. Только теперь смотрите бенчмарки нужной категории и обязательно сверяйте харнесс.
  6. Проверьте на своих задачах: бенчмарк работает фильтром, а не гарантией.

Примеры соответствия с оговорками. Для агентного кодинга первыми смотрите K2-Horizon-7B (72.4 на SWE-bench Verified) и MiMo-V2.6-Distill-Qwen-9B (61.1, avg@3), помня, что обе цифры заявлены лабораториями. Для знаний и длинного контекста Qwen3.5-9B (81.7 на GPQA Diamond, 87.1 на RULER 128K) выглядит сильнее остальных, но в математике заметно уступает. Для аудио в подборке есть только Gemma 4 E4B. Для минимального размера с видео LFM3-VL-2B. Для скорости на CPU LFM2.5-8B-A1B как единственная MoE, с поправкой на 0.5 в SWE-bench и 18.8 в RULER 128K.

Быстрый фильтр по железу и лицензии

  • 8 ГБ RAM и нужна стабильность: берите модель поменьше и квантизацию поагрессивнее, помня про пик 7.7 ГБ и уход в swap.
  • Нужна простая коммерческая лицензия: Apache-2.0 у K2, Granite, Qwen3.5 и Gemma 4 E4B, MIT у MiMo.
  • Нужны аудио и изображения: из подборки подходит Gemma 4 E4B.
  • Нужно видео: Qwen3.5-9B или LFM3-VL-2B.
  • Нужен максимальный контекст: K2-Horizon-7B заявляет 512K, Qwen3.5-9B 262K с расширением, но реальную работу на длине проверяйте сами.

Когда бенчмарк врёт: три вопроса перед скачиванием весов

Первый вопрос: в каком харнессе получен балл и похож ли этот сценарий на ваш? Второй: есть ли независимые замеры или только карта модели? Третий: пробовал ли кто-то эту модель на вашей задаче и вашем железе?

Ответ «нет» хотя бы на один из них не запрещает скачивать весы. Он означает, что цифру нужно подтвердить самому: короткий прогон на двадцати типичных запросах скажет больше, чем строка в сводной таблице.

Выводы: что брать в 2026 году и чего не ждать от компактных LLM

Рейтинга «лучшая модель» здесь не будет, потому что ниши разные. K2-Horizon-7B заявляет сильные результаты в математике и кодинге при контексте 512K и Apache-2.0, но в знаниях уступает Qwen. Granite 4.2-8B с thinking и высоким AIME может не получить ускорения от кэша промпта. Qwen3.5-9B лидирует по знаниям и длинному контексту в наборе и закрывает текст с изображениями и видео, при этом в математике отстаёт заметно.

MiMo-V2.6-Distill-Qwen-9B даёт MIT и visual coding, но проседает относительно базы в знаниях. LFM2.5-8B-A1B интересна как MoE для скорости на слабом железе, с явными провалами в SWE-bench и RULER. Gemma 4 E4B остаётся единственным вариантом с аудио и сильными мультимодальными метриками. LFM3-VL-2B самая компактная в списке, с видео и высоким IFEval из backbone.

Три вещи, которые стоит держать в голове при любом выборе. Цифры лабораторий работают фильтром, а не истиной: харнессы разные, независимых прогонов почти нет. Размер в параметрах не равен качеству и не равен требованиям к памяти. И последнее: заявленный контекст, поддержка модальностей и скорость на вашем железе проверяются только запуском, поэтому скачайте две модели-кандидата и сравните их на своих запросах, а не на строках чужой таблицы.

Подписаться на канал