Как тестировались модели и почему это важно
Рейтинг собрал один пользователь r/LocalLLaMA и выложил 11 октября 2026 года: Every Model That Can Be Run On 10-16GB VRAM Ranked. Это личный опыт, а не воспроизводимый бенчмарк: ни скриптов, ни таблиц с замерами в открытом виде нет. Позиции моделей стоит читать как шорт-лист для собственных экспериментов.
Начальные условия: GPU на 10–16 ГБ VRAM и 26–32 ГБ системной памяти, контекст до 64k через Kobold или LLAMA. Верхушку списка занимают Gemma 4 26B-A4B, Qwen 3.6 35B-A3B (Abliterated) и Gemma 4 Instruct 19B-A1B Heretic (Abliterated). С них и стоит начинать подбор, если не хочется читать все 12 позиций.
Жёсткий фильтр отбора один: все модели в списке выдают не меньше 10 токенов в секунду. Всё, что медленнее, в рейтинг не попало, даже если отвечает качественно.
Критерии оценки: скорость, связность, устойчивость к опечаткам
Автор оценивал модели по шести осям, и это единственная методология, которую он приводит:
- Скорость: порог 10 токенов в секунду, ниже - мимо списка.
- Связность: диалог, монолог или точка зрения должны иметь внутренний смысл помимо базовой логики, без ощущения роботизированного поведения.
- Устойчивость к языку: опечатки, нюансы и резкие формулировки проверялись на японском, португальском (Бразилия) и американском английском.
- Шаблонные фразы: считалась частота клише вроде «casting long shadows» и «smells like ozone and burnt sugar».
- Следование сложным инструкциям: прогон с Pandora Instructions и без них, плюс проверка на 23 взаимосвязанных правила. Логика автора: если модель держит 23 правила, она справится почти с любым промптом.
- Отказы: у всех моделей списка их либо нет, либо очень мало даже на NSFL-темах.
Тестирование с промптом и без него даёт разную картину: часть моделей без директивных инструкций уходит в собственные паттерны. Пример из рейтинга - Qwen 3.6 35B-A3B, которая без чётких указаний переобучается на формате предыдущих сообщений.
Чего в методологии нет: одинаковых промптов в открытом виде, значений tokens/s по каждой модели, замеров потребления памяти. Итог зависит от квантизации, длины контекста, сборки бэкенда и шаблона чата, поэтому на другом железе порядок моделей может измениться.
Почему CoT-модели не попали в рейтинг
Модели с цепочками рассуждений автор исключил сознательно: они тратят токены на размышления, отвечают медленнее и на ограниченном железе не дают отдачи. При 10–16 ГБ VRAM вы платите скоростью за каждый сгенерированный токен, а длинные цепочки увеличивают их количество без гарантии лучшего ответа. Если задача требует пошагового reasoning, этот рейтинг к ней не относится.
Топ моделей для 10–16 ГБ VRAM: рейтинг
Порядок авторский, от лучшей к худшей по совокупности его критериев. Все 12 позиций работают с контекстом до 64k через Kobold или LLAMA, но Qwen 35B и GLM 31B требуют именно LLAMA.
Gemma 4 26B-A4B - лидер рейтинга
Автор описывает её как Qwen 35B-A3B, но с лучшим диалогом и монологом: модель директивнее, немного умнее и точнее, плюс смешнее. Универсальный выбор по умолчанию для 10–16 ГБ VRAM: чат, генерация текста, ролевые сценарии.
Qwen 3.6 35B-A3B (Abliterated) - скорость и точность
Быстрая, точная и достаточно забавная. Слабое место - управляемость: без правильных директивных инструкций модель переобучается на предыдущих входных и выходных форматах, может говорить бессмыслицу или задавать слишком много вопросов. Требует LLAMA, а не Kobold. Практические замеры скорости этой архитектуры на 12 ГБ VRAM есть в отдельном материале: тесты Qwen3.8 27B в Q2 и Q3 против Qwen3.6 35B-A3B MoE.
Gemma 4 Instruct 19B-A1B Heretic (Abliterated) - лёгкая и точная
Та же 26B-A4B, но немного жёстче и проще, при этом точность и логика сохраняются. Вариант для тех, кому нужна модель поменьше с предсказуемым поведением.
The Omega Directive 14B - следование инструкциям
Хорошо следует инструкциям, редко скатывается в шаблоны и прилично пишет. Ограничение: после заполнения контекста может становиться предсказуемой.
GLM-4.7-Flash 31B-A3B (Abliterated) - прямолинейность
Работает похоже на Qwen 35B-A3B, но более прямолинейна и меньше интерпретирует нюансы и формулировки. Кому-то это плюс: меньше додумывания за пользователя. Как и Qwen 35B, требует LLAMA.
Qwen3 30B A1.5B 64K High Speed NEO MAX - усиленное рассуждение
По сути та же 35-A3B, но с повышенным уровнем рассуждений. Подходит для задач, где нужна логика посложнее, но без перехода в отдельные CoT-модели.
Остальные модели рейтинга
Позиции с 7 по 12 - рабочие варианты под конкретные сценарии: ролевой чат, импровизация, минимальные отказы. Для Q&A-ролей часть из них не подходит.
| Модель | Что важно знать |
|---|---|
| MN CaptainErisNebula Chimera Heretic Uncensored 12B (Abliterated) | Самая проактивная в списке, редко застревает в цикле, хороший диалог. Минусы: торопливая, пытается заполнить всё сразу, много шаблонов, не годится для Q&A. |
| Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B | Приличная, шаблоны перефразированы. Может уходить в имперсонацию и флирт, для Q&A не подходит. |
| Gemma 3 12b GLM-4.7 Flash INSTRUCT Hybrid Heretic (Uncensored) | Имперсонативна и точна, но переобучается на форматировании и стиле предыдущих сообщений, часто использует шаблоны, мало юмора. |
| Ministral Instruct 2512 Absolute Heresy 14B | Лучшая по диалогу, монологу и спонтанности. Плохо следует сложным правилам: regex, панель статуса, команды, lorebook. Склонна превращать {{char}} в соблазнителя. |
| GLM 4.6V Flash Hybrid ?B | Сниженная частота шаблонов и ещё меньше отказов. |
| GLM 4.6V Flash UD 9B | Может казаться роботизированной и повторяющейся, многое зависит от личности {{char}}. |
{{char}} - переменная шаблона персонажа, в которую подставляется его описание.
Модели уровня 9B интересны там, где 14 ГБ не нужны: на 8 ГБ VRAM и 16 ГБ ОЗУ они работают без offloading и выдают 30-50 токенов в секунду. Подробный разбор с таблицами памяти - в статье малые LLM 9B: практичный выбор для 8 ГБ VRAM и 16 ГБ ОЗУ.
Kobold или LLAMA: что выбрать для запуска
Оба бэкенда в этом рейтинге позволяют вытянуть контекст до 64k на 10–16 ГБ VRAM. Разница в поддержке конкретных моделей.
Когда нужен LLAMA, а не Kobold
В исходном посте отмечены две модели, для которых нужен LLAMA: Qwen 35B (Qwen 3.6 35B-A3B) и GLM 31B (GLM-4.7-Flash 31B-A3B). Остальные позиции списка не помечены как требующие LLAMA, то есть для них Kobold остаётся рабочим вариантом. Причину автор не раскрывает, поэтому перед скачиванием проверяйте совместимость формата конкретной сборки с вашим бэкендом.
Настройка контекста до 64k
64k - верхняя планка для этого класса железа по данным рейтинга. Чем длиннее контекст, тем больше памяти уходит на KV-cache и тем сильнее проседает скорость. Конкретных замеров на 64k в исходном посте нет, так что ориентируйтесь на свою систему: если скорость падает ниже порога в 10 токенов в секунду, есть смысл сократить контекст. Как связаны квантизация, длина контекста, offload и скорость, разобрано в материале о выборе квантизации Q4, Q5 или Q6 для баланса скорости и качества.
Требования к железу и квантованию
Минимум по данным рейтинга: 10–16 ГБ VRAM и 26–32 ГБ системной памяти. Системная память здесь не запас, а рабочее условие: в неё уходит то, что не поместилось в видеопамять.
Как выбрать квантование
Рекомендация автора: брать любой квант выше Q_4_K, а размер файла значения не имеет. Практически это значит, что опускаться ниже Q_4_K не стоит, даже если хочется выиграть память под более длинный контекст. Как считать бюджет VRAM под задачу, а не под красивый размер файла, разбирали в статье IQ3_XXS против Q4_K_M: как выбрать модель для кода, скрапинга и tool use.
Скорость и производительность
Планка входа в рейтинг - 10 токенов в секунду, и все 12 моделей её проходят на железе автора. Реальная скорость зависит от квантизации, длины контекста, выбранного бэкенда и того, сколько слоёв уходит в VRAM. CoT-модели медленнее по определению и потому в список не попали.
Поведение семейств моделей: чего ожидать
Автор описал типичные черты семейств. Это тенденции, а не жёсткие правила: конкретная сборка и промпт меняют поведение сильнее, чем название семейства.
- GLM: пессимизм и логика. Прямолинейность заметна и в GLM-4.7-Flash 31B-A3B, которая меньше интерпретирует нюансы, чем Qwen.
- Qwen: излишняя любознательность. Qwen 3.6 35B-A3B без директив задаёт слишком много вопросов и может уходить в бессмыслицу.
- Gemma: юмор. Именно «смешнее» автор ставит в заслугу Gemma 4 26B-A4B.
- Mistral: флирт. Ministral Instruct 2512 Absolute Heresy 14B, лучшая по спонтанности, склонна превращать {{char}} в соблазнителя.
- Llama: предсказуемость.
Модели для 24 ГБ VRAM: что можно запустить при большем бюджете
Для владельцев 24 ГБ VRAM автор приводит отдельный список более крупных вариантов. С ростом размера модели растут и требования к системной памяти, а роль квантизации становится заметнее.
Полезный ориентир из того же поста: тест знаний на аниме, манге, фильмах и музыке на моделях 70B, 120B и 300B показал, что такие данные есть только у моделей крупнее 200B. Даже модель на 120B редко знает о медиа, которое вам интересно. Больше VRAM расширяет список доступных моделей, но узкие знания этим не решаются: под них нужны RAG или веб-поиск.
Подборка моделей для систем с большим объёмом памяти, до 256 ГБ, есть в отдельном материале: локальные LLM для систем до 256 ГБ ОЗУ.
Ограничения рейтинга и как его использовать
Рейтинг составил один пользователь, методология не воспроизводима: нет ни промптов, ни замеров, ни одинаковых условий прогона. Набор моделей ограничен тем, что было доступно автору на момент публикации, а CoT-модели исключены из рассмотрения целиком (исходный пост).
По данным автора, у всех моделей списка отказов нет либо их очень мало даже на NSFL-темах. Пометки Abliterated, Heretic и Uncensored означают доработанные сборки с ослабленными отказами: поведение и качество у них отличаются от базовых версий того же семейства, и проверять их на чувствительных сценариях стоит особенно внимательно.
Как использовать список на практике:
- Возьмите 2-3 модели из верхушки под свой сценарий: Gemma 4 26B-A4B для универсальных задач, Qwen 3.6 35B-A3B или GLM-4.7-Flash 31B-A3B, если готовы поставить LLAMA.
- Выберите квант выше Q_4_K и запустите модель с той же длиной контекста, что и в рабочих задачах.
- Прогоните собственные промпты и замерьте скорость: 10 токенов в секунду - разумная нижняя граница комфорта.
- Проверьте поведение на своих языках и типах текста. Устойчивость к опечаткам и нюансам у модели из чужого рейтинга на ваших данных может отличаться.
Если после прогонов не устраивает скорость или связность, сначала сокращайте контекст и пробуйте другие позиции из списка. Переход на модели крупнее на 10–16 ГБ VRAM обычно означает либо нехватку памяти, либо падение скорости ниже планки в 10 токенов в секунду.