Что сравниваем и почему цифры в таблицах нельзя читать построчно
В подборке семь моделей с числом параметров до 9B: K2-Horizon-7B (IFM), Granite 4.2-8B (IBM), Qwen3.5-9B (Qwen), MiMo-V2.6-Distill-Qwen-9B (Xiaomi), LFM2.5-8B-A1B и LFM3-VL-2B (обе Liquid), Gemma 4 E4B (Google). Четыре из них плотные, одна построена на смеси экспертов, одна гибридная, ещё две используют нестандартные схемы подсчёта параметров. Общий знаменатель: при квантизации такие веса реально держать в памяти рабочей машины с 8-16 ГБ VRAM.
Ключевая оговорка, без которой дальнейшая арифметика теряет смысл: баллы заявлены самими лабораториями и сняты в разных харнессах. K2-Horizon-7B мерили харнессом IFM, LFM-модели - харнессом Liquid, MiMo - харнессом Xiaomi, остальные цифры пришли из карт Granite, Qwen и Gemma. Разные харнессы означают разные промпты, настройки сэмплинга и число попыток на задачу. Сводка подборки фиксирует это прямым текстом: scores are lab-reported, take them with a grain of salt.
Практический смысл: таблица работает как фильтр, а не как вердикт. Разница в 10 пунктов между двумя строками может объясняться методикой замера сильнее, чем качеством модели. Решение принимают по совокупности признаков: архитектура, длина контекста, модальности, лицензия, поведение на ваших задачах и вашем железе.
Кто заявил цифры: харнессы IFM, Liquid, Xiaomi и собственные карты
Метка lab-reported значит ровно одно: число опубликовала лаборатория, которая сделала модель. В сводной таблице источник каждого балла помечен надстрочным индексом, и эти индексы несут больше информации, чем сами цифры.
- a - карта K2-Horizon-7B, замеры в харнессе IFM
- b - харнесс Liquid
- c - карта MiMo, харнесс Xiaomi
- d - avg@3 или результат на внутреннем наборе Xiaomi
- e - метрика снята с текстового backbone LFM3-1.7B, а не с самой LFM3-VL-2B
- без индекса - собственная карта модели, независимой проверки нет
Одинаковое название бенчмарка в двух строках не гарантирует одинаковый протокол. SWE-bench Verified у MiMo-V2.6-Distill-Qwen-9B посчитан как avg@3, то есть среднее по трём попыткам, у других моделей схема усреднения иная или не указана. IFEval и RULER у Liquid-моделей сняты их харнессом, у K2 - харнессом IFM. Такие числа сопоставимы по порядку величины, но не по десятым долям пункта.
Как читать таблицу: superscripts, avg@3 и «лучший в строке»
Чек-лист из пяти шагов экономит время при разборе любой сводки такого вида.
- Найдите надстрочный индекс у числа и сверьтесь с источником. Индекс b рядом с 56.1 значит, что цифру дал Liquid, а не независимый тест.
- Проверьте метрику усреднения. avg@3 и одиночный прогон дают разброс, который легко превышает разницу между соседними моделями.
- Не считайте жирный шрифт абсолютным преимуществом. Им помечен лучший результат в строке, а строки собраны из разных харнессов, и подпись к таблице обычно это оговаривает.
- Отделяйте заявленные цифры от независимых. Балл из карты модели не проверял никто, кроме её авторов.
- Прочерк не равен нулю. Отсутствие числа значит, что замер не публиковали, а не что модель провалила задачу.
Насколько хрупки такие сравнения, видно на любом независимом прогоне. Разбор Prism-ML Bonsai 2 показывает механику: около 91,5% на композитном наборе выглядят внушительно, пока не выясняется, что набор и методика свои, а значит в чужую таблицу эта цифра не встанет.
Спецификации семи моделей: размер, архитектура, контекст, модальности, лицензия
Характеристики ниже заявлены лабораториями и сведены в общую таблицу подборки. Их достаточно, чтобы отсеять неподходящие варианты до чтения бенчмарков.
| Модель | Лаборатория | Параметры и архитектура | Контекст | Модальности | Лицензия |
|---|---|---|---|---|---|
| K2-Horizon-7B | IFM | 7B, dense | 512K | текст | Apache-2.0 |
| Granite 4.2-8B | IBM | 8B, dense, режим thinking | 128K, расширение до 512K | текст | Apache-2.0 |
| Qwen3.5-9B | Qwen | 9B, hybrid (delta-net), thinking | 262K, расширение примерно до 1M | текст, изображения, видео | Apache-2.0 |
| MiMo-V2.6-Distill-Qwen-9B | Xiaomi | 9B, SFT-версия Qwen3.5-9B | около 262K | текст, зрение (visual coding) | MIT |
| LFM2.5-8B-A1B | Liquid | 8.3B общих, 1.5B активных, MoE | 128K | текст | LFM 1.0 |
| Gemma 4 E4B | 4.5B эффективных при 8B общих, PLE | 128K | текст, изображения, аудио | Apache-2.0 | |
| LFM3-VL-2B | Liquid | 1.92B (1.73B backbone), thinking | 128K | текст, изображения, видео | LFM 1.0 |
Первое, что бросается в глаза: число в названии модели и требования к памяти связаны слабо. У Gemma 4 E4B в имени 4B, а всего параметров 8B. У LFM2.5-8B-A1B активных параметров 1.5B, но держать в памяти нужно все 8.3B. У LFM3-VL-2B меньше двух миллиардов параметров, зато заявлены изображения и видео.
Dense, MoE и hybrid: чем архитектура меняет поведение при локальном запуске
В плотной модели на каждый токен работают все параметры. K2-Horizon-7B и Granite 4.2-8B устроены именно так: предсказуемая нагрузка, простой расчёт памяти, минимум сюрпризов при батчинге.
В MoE активируется только часть экспертов. У LFM2.5-8B-A1B это 1.5B активных из 8.3B общих. Выигрыш в скорости генерации реальный, объём весов при этом не уменьшается: все 8.3B лежат в памяти и именно они определяют, влезет модель в вашу видеокарту или нет.
Гибридная схема Qwen3.5-9B (delta-net, режим thinking) смешивает механизмы внимания. На практике это влияет на поведение при длинном контексте и на профиль памяти, поэтому цифру 262K из спецификации стоит проверять замером, а не принимать на веру.
Схема PLE у Gemma 4 E4B даёт 4.5B эффективных параметров при 8B общих. Считать память по «эффективным» параметрам нельзя, веса хранятся целиком. Если интересуют MoE-модели с малым числом активных параметров, отдельный разбор про MoE с ~2B активных даёт практические ориентиры по памяти на скромных GPU.
Контекст 128K, 262K и 512K: что реально значит расширение
Разделяйте базовый контекст и расширяемый. Granite 4.2-8B заявлен на 128K с расширением до 512K, Qwen3.5-9B на 262K с расширением примерно до 1M, K2-Horizon-7B сразу на 512K. У MiMo-D-9B базовый контекст около 262K без отдельной цифры расширения, у LFM2.5-8B-A1B, Gemma 4 E4B и LFM3-VL-2B 128K.
Расширение редко бывает бесплатным. KV-кэш растёт вместе с длиной последовательности, и на 512K или 1M токенов память кончается раньше, чем качество модели. Заявленные 512K у K2 не означают, что на 128K всё идеально: RULER 128K у неё 71.4, и это как раз проверка на длинной дистанции.
Лицензии: Apache-2.0, MIT и LFM 1.0
Apache-2.0 покрывает K2-Horizon-7B, Granite 4.2-8B, Qwen3.5-9B и Gemma 4 E4B. MIT у MiMo-V2.6-Distill-Qwen-9B. LFM 1.0 у обеих моделей Liquid, LFM2.5-8B-A1B и LFM3-VL-2B.
Первые две лицензии знакомы почти всем и обычно не мешают коммерческому использованию. LFM 1.0 отличается от них, и условия стоит прочитать целиком перед встраиванием модели в продукт: пересказывать их по чужим конспектам не стоит. Отдельный нюанс: MiMo-V2.6-Distill-Qwen-9B это SFT-производная Qwen3.5-9B, поэтому выбор между ними идёт не только по бенчмаркам, но и по тому, что дообучение изменило в поведении базовой модели.
Текстовые бенчмарки по категориям: где какая модель сильна
Ниже цифры из той же сводки, разложенные по задачам. Единого рейтинга не будет: у моделей разные сильные стороны, а кросс-харнессная оговорка из первого раздела действует на каждую строку.
| Модель | AIME 2026 | AIME 2025 | SWE-bench Verified | GPQA Diamond | IFEval | RULER 128K |
|---|---|---|---|---|---|---|
| K2-Horizon-7B | 90.2 | 90.3 | 72.4 | 75.6 | 91.5 | 71.4 |
| Granite 4.2-8B | 92.5 | 86.7 | 47.7 | 64.1 | 91.8 | - |
| Qwen3.5-9B | 50.0 | 56.1 (харнесс b) | 50.8 | 81.7 | 90.0 (харнесс b) | 87.1 (харнесс b) |
| MiMo-V2.6-Distill-Qwen-9B | 42.5 | 42.5 | 61.1 (avg@3) | 58.6 | - | - |
| LFM2.5-8B-A1B | - | 34.3 (харнесс b) | 0.5 (харнесс b) | - | - | 18.8 (харнесс b) |
| Gemma 4 E4B | - | - | - | - | - | - |
| LFM3-VL-2B | - | - | 43.4 (backbone, e) | 63.4 (backbone, e) | 96.7 (backbone, e) | 65.6 (backbone, e) |
Математика: AIME 2026 и AIME 2025
K2-Horizon-7B и Granite 4.2-8B заявляют почти олимпиадный уровень: 90.2 и 92.5 на AIME 2026, 90.3 и 86.7 на AIME 2025. Qwen3.5-9B в тех же строках даёт 50.0 и 56.1, MiMo-D-9B ровно 42.5 в обоих наборах, LFM2.5-8B-A1B 34.3 на AIME 2025 в харнессе Liquid.
Разрыв между 92.5 и 42.5 на одной и той же задаче слишком велик, чтобы объясняться только размером модели. Такой результат требует независимой проверки на ваших промптах: сказываются разные системные инструкции, настройки thinking и число попыток. Пока независимых прогонов нет, цифры K2 и Granite стоит держать в голове как заявку, а не как факт.
Код и агентные задачи: SWE-bench Verified
Здесь лидирует K2-Horizon-7B с 72.4, за ней MiMo-V2.6-Distill-Qwen-9B с 61.1 при усреднении по трём попыткам, Qwen3.5-9B с 50.8, Granite 4.2-8B с 47.7. LFM3-VL-2B показывает 43.4, но метрика снята с backbone LFM3-1.7B. LFM2.5-8B-A1B проваливает задачу с 0.5 в харнессе Liquid.
SWE-bench Verified проверяет исправление реальных задач в репозиториях, а не знание синтаксиса. Ноль с половиной у MoE-модели Liquid не значит, что она бесполезна в чате или суммаризации, но для агентного кодинга это красный флаг: модель не доводит правку до проходящего теста. Контекст сегмента хорошо виден на соседнем примере: Nanbeige 4.2-3B с 3B параметров заявляет 63.6 на Verified, то есть размер сам по себе не определяет результат в агентных задачах.
Знания: GPQA Diamond
В вопросах уровня эксперта лидирует Qwen3.5-9B с 81.7. Дальше K2-Horizon-7B с 75.6, Granite 4.2-8B с 64.1, LFM3-VL-2B с 63.4 из backbone и MiMo-V2.6-Distill-Qwen-9B с 58.6.
Интересный момент: MiMo-D-9B обучен на базе Qwen3.5-9B, но в знаниях отстаёт от неё на 23 пункта. SFT подтягивает одни навыки и просаживает другие, и это ровно тот случай, когда «производная от сильной модели» не означает «та же модель плюс бонусы».
Следование инструкциям: IFEval
LFM3-VL-2B заявляет 96.7, Granite 4.2-8B 91.8, K2-Horizon-7B 91.5, Qwen3.5-9B 90.0 в харнессе Liquid. Все четыре значения близки, и разница между ними на таких выборках вряд ли значима для практики.
Высокий IFEval у модели на 1.92B выглядит привлекательно, но метрика относится к текстовому backbone LFM3-1.7B. В мультимодальных сценариях поведение может отличаться, а собственных замеров IFEval для VL-режима в наборе нет.
Длинный контекст: RULER 128K
Qwen3.5-9B набирает 87.1, K2-Horizon-7B 71.4, LFM3-VL-2B 65.6 из backbone, LFM2.5-8B-A1B 18.8 в харнессе Liquid.
Пример с LFM2.5-8B-A1B самый показательный: контекст 128K заявлен, а RULER 128K даёт 18.8. Заявленная длина окна и способность работать на этой длине расходятся кардинально. У K2 заявлено 512K, но на 128K уже 71.4, то есть дальний край окна скорее маркетинговая цифра, чем рабочая зона.
Мультимодальные метрики: MMMU, MMMU-Pro и MathVista
Мультимодальных моделей в подборке четыре: Qwen3.5-9B (текст, изображения, видео), MiMo-V2.6-Distill-Qwen-9B (текст и зрение с акцентом на visual coding), Gemma 4 E4B (текст, изображения, аудио), LFM3-VL-2B (текст, изображения, видео).
| Модель | Заявленные модальности | MMMU (val) | MMMU-Pro | MathVista (mini) |
|---|---|---|---|---|
| Gemma 4 E4B | текст, изображения, аудио | 78.4 | 52.6 | 85.7 |
| LFM3-VL-2B | текст, изображения, видео | 55.7 | 45.7 | 84.2 |
| Qwen3.5-9B | текст, изображения, видео | - | - | - |
| MiMo-V2.6-Distill-Qwen-9B | текст, зрение (visual coding) | - | - | - |
В наборе встречается ещё значение MMMU-Pro 70.1, но привязать его к конкретной модели из списка по доступным данным нельзя, поэтому в таблицу оно не попало. Переносить такие цифры на текстовые задачи тоже не стоит: мультимодальные бенчмарки меряют другие навыки, и модель с сильным MMMU может проигрывать в кодинге.
Vision и video: что заявлено и что не измерено
Отделяйте заявленную поддержку модальности от наличия метрики. У Qwen3.5-9B в спецификации есть видео, но ни одной метрики по видео в наборе нет. У Gemma 4 E4B заявлено аудио, и метрики по аудио тоже нет. Придумывать цифры в таких местах бессмысленно: их просто никто не публиковал.
Практический вывод для тех, кому нужна работа с видео или аудио: заявленной поддержки недостаточно. Собирайте небольшой набор своих примеров и проверяйте на нём, иначе рискуете взять модель, которая формат принимает, но содержание разбирает плохо.
Где заканчиваются бенчмарки: реальные ограничения локального запуска
Число параметров само по себе не гарантирует преимущества. В практических замерах на CPU лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B оказались в рейтинге ниже лидеров на 4B. Выборки при этом были малы, и статистически такие различия не различаются: сравнение лёгких LLM на CPU прямо оговаривает этот момент.
VRAM и RAM: сколько на самом деле нужно под 7B, 8B и 9B
Объём весов зависит от квантизации, а не только от числа параметров в названии. MoE-модель хранит все веса, даже если на токен работает лишь часть экспертов. Длинный контекст добавляет KV-кэш, и он растёт вместе с длиной промпта.
Ориентир из практики: модели на 5-7 ГБ занимали почти все 8 ГБ оперативной памяти, а на длинных запросах пик доходил до 7.7 ГБ, после чего сервер начинал писать в swap. Заявленные 512K или 1M контекста при локальном запуске упрутся в память намного раньше, чем в качество модели. Подборки под конкретные объёмы памяти помогают сузить список: рейтинг моделей под 10-16 ГБ VRAM показывает, как считается бюджет под квантование и контекст.
Скорость: почему MoE и кэш промпта меняют картину
MoE даёт измеримый выигрыш на CPU. В тех же замерах модель с 10B общих и 1.8B активных параметров генерировала 8.7 ток/с против примерно 5 ток/с у плотных 8B-моделей, занимая при этом 6.5 ГБ памяти. Модели на 8-9B в среднем отвечали в 1.5-2 раза дольше qwen3.5:4b без выигрыша в качестве.
Кэширование промпта ускоряет ответ в 2-3 раза у большинства моделей, но не у всех: у gemma3, granite и YandexGPT эффект оказался почти нулевым. Для Granite 4.2-8B это значит, что рассчитывать на ускорение от кэша без собственной проверки не стоит. Конкретных замеров ток/с для семи моделей подборки в наборе нет, поэтому обещать цифры для LFM2.5-8B-A1B или K2-Horizon-7B было бы выдумкой. Механику можно оценить по архитектуре: у LFM2.5-8B-A1B 1.5B активных параметров, что потенциально быстрее плотных 8B, но все 8.3B весов лежат в памяти.
Как выбрать модель под свою задачу: практический алгоритм
- Определите железо: доступная VRAM и RAM, приемлемая скорость генерации. Это отсекает больше моделей, чем любой бенчмарк.
- Определите задачу: кодинг и агентные сценарии, математика, знания, длинный контекст, мультимодальность, строгое следование формату.
- Отсеките по лицензии и модальностям. Нужно аудио, смотрите на Gemma 4 E4B, нужна коммерческая простота, берите Apache-2.0 или MIT.
- Посмотрите на архитектуру и заявленный контекст. MoE даёт скорость, dense даёт предсказуемость, расширенный контекст требует памяти.
- Только теперь смотрите бенчмарки нужной категории и обязательно сверяйте харнесс.
- Проверьте на своих задачах: бенчмарк работает фильтром, а не гарантией.
Примеры соответствия с оговорками. Для агентного кодинга первыми смотрите K2-Horizon-7B (72.4 на SWE-bench Verified) и MiMo-V2.6-Distill-Qwen-9B (61.1, avg@3), помня, что обе цифры заявлены лабораториями. Для знаний и длинного контекста Qwen3.5-9B (81.7 на GPQA Diamond, 87.1 на RULER 128K) выглядит сильнее остальных, но в математике заметно уступает. Для аудио в подборке есть только Gemma 4 E4B. Для минимального размера с видео LFM3-VL-2B. Для скорости на CPU LFM2.5-8B-A1B как единственная MoE, с поправкой на 0.5 в SWE-bench и 18.8 в RULER 128K.
Быстрый фильтр по железу и лицензии
- 8 ГБ RAM и нужна стабильность: берите модель поменьше и квантизацию поагрессивнее, помня про пик 7.7 ГБ и уход в swap.
- Нужна простая коммерческая лицензия: Apache-2.0 у K2, Granite, Qwen3.5 и Gemma 4 E4B, MIT у MiMo.
- Нужны аудио и изображения: из подборки подходит Gemma 4 E4B.
- Нужно видео: Qwen3.5-9B или LFM3-VL-2B.
- Нужен максимальный контекст: K2-Horizon-7B заявляет 512K, Qwen3.5-9B 262K с расширением, но реальную работу на длине проверяйте сами.
Когда бенчмарк врёт: три вопроса перед скачиванием весов
Первый вопрос: в каком харнессе получен балл и похож ли этот сценарий на ваш? Второй: есть ли независимые замеры или только карта модели? Третий: пробовал ли кто-то эту модель на вашей задаче и вашем железе?
Ответ «нет» хотя бы на один из них не запрещает скачивать весы. Он означает, что цифру нужно подтвердить самому: короткий прогон на двадцати типичных запросах скажет больше, чем строка в сводной таблице.
Выводы: что брать в 2026 году и чего не ждать от компактных LLM
Рейтинга «лучшая модель» здесь не будет, потому что ниши разные. K2-Horizon-7B заявляет сильные результаты в математике и кодинге при контексте 512K и Apache-2.0, но в знаниях уступает Qwen. Granite 4.2-8B с thinking и высоким AIME может не получить ускорения от кэша промпта. Qwen3.5-9B лидирует по знаниям и длинному контексту в наборе и закрывает текст с изображениями и видео, при этом в математике отстаёт заметно.
MiMo-V2.6-Distill-Qwen-9B даёт MIT и visual coding, но проседает относительно базы в знаниях. LFM2.5-8B-A1B интересна как MoE для скорости на слабом железе, с явными провалами в SWE-bench и RULER. Gemma 4 E4B остаётся единственным вариантом с аудио и сильными мультимодальными метриками. LFM3-VL-2B самая компактная в списке, с видео и высоким IFEval из backbone.
Три вещи, которые стоит держать в голове при любом выборе. Цифры лабораторий работают фильтром, а не истиной: харнессы разные, независимых прогонов почти нет. Размер в параметрах не равен качеству и не равен требованиям к памяти. И последнее: заявленный контекст, поддержка модальностей и скорость на вашем железе проверяются только запуском, поэтому скачайте две модели-кандидата и сравните их на своих запросах, а не на строках чужой таблицы.