Короткий ответ: какая LLM нужна на VPS без видеокарты
На VPS без видеокарты в 2026 году хватает модели на 2–4B и 8 ГБ RAM. В повторном эксперименте на сервере с 8 ГБ RAM лучшие модели этого класса разбирали обращения за 3–5 секунд с точностью около 90%, а ответы по базе знаний и резюме записей занимали от 0,5 до 2,5 минуты (источник).
Модели на 8–10B не обгоняют лучшие 4B по точности и работают медленнее. Единственное заметное исключение по скорости среди них, GigaChat 3.1 Lightning с архитектурой MoE. Деньги логичнее вкладывать в память, а не в ядра: переход с 4 на 8 ГБ RAM убирает падения по нехватке памяти и почти весь обмен со swap, а пятый vCPU добавляет 20–25% к скорости чтения промпта и около 10% к генерации.
| Задача | Класс модели | RAM | Ожидаемое время |
|---|---|---|---|
| Классификация обращений | 2–4B: QVikhr-3-4B, qwen3.5:4b, qwen3.5:2b, d1-2B, GigaChat 3.1 Lightning | 8 ГБ | 3–5 сек, у d1-2B около 6,6 сек |
| Ответы по базе знаний | 2–4B | 8 ГБ | 0,5–2,5 мин |
| Суммаризация записей | 2–4B | 8 ГБ | 0,5–2,5 мин |
| Классификация на 8–10B | 8–10B | 8 ГБ и больше | Медленнее лидеров на 4B без выигрыша в точности |
Ниже разобрано, откуда эти цифры, почему малая выборка обманывает, как читать steal и swap на арендованном сервере и какие настройки Ollama не дают 8 ГБ закончиться в середине запроса.
Почему на VPS без GPU все решают RAM и swap, а не ядра
Модель на 4B сама по себе помещается в 4 ГБ, но вместе с длинным контекстом упирается в память и начинает гонять данные через swap. Каждое обращение к диску вместо RAM стоит миллисекунды, а их тысячи на один ответ. В эксперименте после перехода с 4 на 8 ГБ RAM обмен со swap у большинства моделей почти прекратился: ответ по базе знаний ускорился с 94 до 73 секунд, а swap упал с 9,1 ГБ до 43 МБ. В другом прогоне те же цифры выглядели как 69 и 56 секунд при падении swap с 4,9 ГБ до 11 МБ. Отдельный сценарий на 4 ГБ просто падал, а на 8 ГБ выдал 51 секунду и 2,0 ГБ swap (источник).
Дополнительные ядра дают куда меньший эффект. Пятый vCPU добавил 20–25% к скорости чтения промпта и около 10% к генерации. Причина простая: чтение промпта распараллеливается по ядрам, а генерация токенов упирается в пропускную способность памяти, и лишний vCPU ее не увеличивает.
Что такое steal и почему без него замеры на VPS врут
Steal time показывает, сколько времени ваше виртуальное ядро хотело работать, но физическое ядро в этот момент обслуживало другую VM. В Linux этот счетчик виден в /proc/stat и в top как st. На шумном гипервизоре steal может прыгать до десятков процентов, и тогда разница в полсекунды между прогонами описывает соседа по хосту, а не модель.
Практика для получения честных цифр: фиксировать steal в каждом прогоне, делать несколько повторов и сравнивать медиану вместо единственного замера. Если steal на одном прогоне 2%, а на другом 25%, сравнивать эти прогоны бессмысленно, их нужно перезапустить. Именно этот шаг исправляет главную слабость первой части эксперимента, где единичные замеры могли приписывать модели чужие задержки.
4 или 8 ГБ RAM: где проходит граница
8 ГБ RAM для модели на 4B с рабочим контекстом, это не запас на вырост, а рабочий минимум. На 4 ГБ длинный контекст не помещается, и сервер уходит в swap или падает по OOM. Для модели на 2B запас больше, но и здесь кэш промптов в Ollama способен занять всю доступную память (об этом ниже).
Отсюда порядок апгрейда: сначала память, потом ядра. Тариф с 4 ГБ и пятью vCPU проиграет тарифу с 8 ГБ и четырьмя vCPU в сценариях с длинным контекстом.
Методика: как тестировались легкие LLM на слабом сервере
Условия эксперимента: VPS без GPU, 8 ГБ RAM, 4–5 vCPU, запуск через Ollama. Относительно первой части добавлены повторные прогоны, замер steal, а также отдельные тесты с кэшем промптов и без него. Модели проверялись на одинаковых промптах с одинаковыми описаниями категорий.
Почему 20 обращений, плохая выборка
На 20 обращениях семь моделей из десяти выбили 100% точности. На 326 обращениях девять моделей из десяти показали 87–92%, и все семь «идеальных» ошибались примерно в одном обращении из десяти (источник). На короткой выборке одна ошибка сдвигает процент на несколько пунктов, поэтому идеальный результат там чаще говорит о везении, чем о качестве модели.
Отдельный результат: попарное сравнение моделей первой пятерки на одних и тех же обращениях не выявило статистически значимых различий ни в одной паре. Разница в 2–3 пункта между лидерами лежит в пределах погрешности, так что выбирать между ними по точности не стоит. Решают скорость и потребление памяти.
Как честно сравнивать модели на одном VPS
- Одинаковые промпты и одинаковые описания категорий для всех моделей. d1-2B проверялась на тех же 326 обращениях и с теми же формулировками, только так ее результат сопоставим с остальными.
- Минимум несколько сотен примеров в наборе, а не два десятка.
- Повторные прогоны и медиана вместо единственного замера.
- Фиксация steal в каждом прогоне.
- Отдельные серии с кэшем промптов и без него.
- Попарное сравнение на одних и тех же входах, если нужно понять, есть ли разница вообще.
Логика та же, что при сравнении движков инференса: один замер на одной конфигурации ничего не доказывает, и разбор таких сравнений полезно держать в голове при чтении любых таблиц со скоростями. Подробный пример подобной аккуратности есть в материале про RustingStrata и llama.cpp.
Классификация обращений: какие модели 2–4B реально работают
Главный сценарий, где легкие модели на CPU действительно полезны. На сервере с 8 ГБ RAM лучшие модели на 2–4B сортировали обращения за 3–5 секунд с точностью около 90%. В наборе участвовали QVikhr-3-4B, qwen3.5:4b, qwen3.5:2b, d1-2B, GigaChat 3.1 Lightning, gemma3, granite, YandexGPT и GLM-4-9B.
d1-2B показала 284 правильных ответа из 326 при 6,6 секунды на обращение. По точности она вышла на уровень GigaChat и gemma3, а статистически значимо уступила только GLM-4-9B и qwen3.5:4b. Плата за это, примерно вдвое большая задержка, чем у самых быстрых участников.
Практический вывод для сортировки тикетов: берите модель, которая укладывается в ваши 3–5 секунд и не упирается в память, а не ту, что набрала на пункт больше. Один процент точности не окупит вдвое более медленную обработку потока обращений.
Кэш промптов: ускорение в 2–3 раза и где оно не работает
Если у всех запросов общая часть, модель может прочитать ее один раз и дальше работать только с переменной частью. Эффект измеримый: с кэшем QVikhr-3-4B классифицировала обращение за 3,8 секунды, без кэша за 12,4 секунды. qwen3.5:2b без кэша замедлилась вдвое, с 2,9 до 6,8 секунды. Для большинства моделей разница составила 2–3 раза (источник).
Кэш помогает не всем. У gemma3, granite и YandexGPT он почти ничего не дал, а на d1-2B не влияет заметным образом. Значит, прежде чем строить архитектуру вокруг кэширования, проверьте конкретную модель на своих запросах.
Почему 8–10B не стоит брать для классификации
Интуиция «модель побольше даст точность выше» на CPU не подтвердилась. Лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B в рейтинге оказались ниже лидеров на 4B. При этом работали они медленнее.
Исключение по скорости, GigaChat 3.1 Lightning с архитектурой MoE: из общего числа параметров на каждом токене активна лишь часть, поэтому модель тяжелее по диску, но быстрее по генерации. Если нужна именно российская модель, это основной кандидат для CPU-сервера.
Ответы по базе знаний и суммаризация: чего ждать по времени
На 8 ГБ RAM ответы по базе знаний и резюме записей занимали от 0,5 до 2,5 минуты. Для фоновой обработки это нормально: очередь ночных задач, разбор накопившихся тикетов, сжатие логов и заметок. Для чата с клиентами такая задержка не подходит, человек уйдет раньше, чем придет ответ.
Критерий выбора простой. Если сценарий допускает асинхронную обработку, модели 2–4B на 8 ГБ хватает, и это самый дешевый вариант из работающих. Если нужен интерактивный диалог с секундами на ответ, нужен GPU или более быстрый хостинг, а не оптимизация промпта.
Почему длинный контекст, главный враг 8 ГБ RAM
Чем больше фрагментов базы знаний вы кладете в запрос, тем больше памяти нужно на промежуточные состояния модели. На 4 ГБ модель 4B с длинным контекстом не помещалась и уходила в swap. На 8 ГБ swap почти исчезает, но появляется вторая проблема: кэш промптов в Ollama по умолчанию может занять всю память. У qwen3.5:4b это приводило к сбоям (источник).
Сокращать контекст при этом дешевле, чем добавлять память: меньше фрагментов в запросе означает и меньше времени на чтение промпта, и меньший риск упереться в лимит. Когда RAM много, но GPU слабая, узкое место смещается в другую сторону, и это отдельный сценарий, разобранный в статье про Qwen 3.8 Flash Next на сервере с большим объемом RAM.
Настройка Ollama на 8 ГБ: LLAMA_ARG_CACHE_RAM и порядок промпта
Как ограничение кэша промптов убирает сбои и swap
Кэш промптов ускоряет повторные запросы, но на тесной памяти растет бесконтрольно и вытесняет все остальное. Ограничение через переменную окружения LLAMA_ARG_CACHE_RAM задает потолок, после которого кэш перестает расти. В эксперименте на сервере с 8 ГБ это убрало и сбои, и swap (источник).
Порядок действий для сервера с 8 ГБ: выставить LLAMA_ARG_CACHE_RAM до запуска модели, затем прогнать свой набор запросов с длинным контекстом и посмотреть на swap. Если обмен пошел вверх, лимит стоит уменьшить. Настройка описана именно для связки Ollama и 8 ГБ RAM, на серверах с большим запасом памяти ее роль второстепенна.
Смежные параметры запуска, влияющие на скорость и потребление памяти, разобраны в материале про настройки llama-server: контекст, batch-size, KV-кэш и parallel меняют картину сильнее, чем кажется.
Порядок промпта: системная инструкция в начале, обращение в конце
Общую инструкцию ставьте в начало запроса, а текст обращения в конец. Это заметно ускоряет работу и включает кэш промптов, потому что неизменная часть остается в начале и переиспользуется между запросами.
Роль и правила: краткая инструкция, что делать с обращением Категории: список категорий с описаниями Формат ответа: одна категория и короткое обоснование Обращение клиента: текст тикета
Переменный текст в конце, стабильный префикс в начале. Обратный порядок, когда обращение идет первым, обнуляет выигрыш от кэша: префикс меняется на каждом запросе. Напомню про зависимость от модели: у gemma3, granite и YandexGPT кэш почти ничего не дал, там порядок промпта даст меньший эффект.
Таблица выбора модели под задачу
| Задача | Модель | RAM | Время | Ограничения |
|---|---|---|---|---|
| Классификация обращений | QVikhr-3-4B, qwen3.5:4b, qwen3.5:2b, d1-2B | 8 ГБ | 3–5 сек, d1-2B около 6,6 сек | На 4 ГБ уходит в swap; без кэша промптов задержка вырастает в 2–3 раза |
| Классификация, нужна российская модель | GigaChat 3.1 Lightning (MoE) | 8 ГБ | Быстрее других моделей 8–10B | Тяжелее по диску из-за общего числа параметров |
| Ответы по базе знаний | 2–4B из тех же кандидатов | 8 ГБ | 0,5–2,5 мин | Только фоновая обработка; нужен LLAMA_ARG_CACHE_RAM |
| Суммаризация записей | 2–4B | 8 ГБ | 0,5–2,5 мин | Длинный контекст требует памяти, на 4 ГБ падения |
| Все сценарии на 8–10B | GLM-4-9B и другие 8–10B | 8 ГБ и больше | Медленнее лидеров на 4B | Выигрыш по точности меньше пункта, на CPU не оправдан |
Кэш промптов стоит включать во всех сценариях, где у запросов есть общий префикс, но эффект проверяйте на своей модели: 2–3 раза быстрее это типичный результат, а не гарантия.
Итог: кому хватит VPS без GPU, а кому нет
8 ГБ RAM и модель на 2–4B закрывают классификацию обращений и фоновую обработку с приемлемой скоростью. 4 ГБ RAM остаются источником падений и swap, пятый vCPU прироста практически не дает и приоритетом не является. Модели на 8–10B на CPU смысла брать нет, кроме GigaChat 3.1 Lightning, где MoE вытягивает скорость.
Границы честные: для интерактивного чата с клиентами задержка 0,5–2,5 минуты не подходит, там нужен GPU. Если сценарий требует отклика в секунды по длинным документам, сравните стоимость аренды GPU со стоимостью инженерного времени, потраченного на обход ограничений CPU. Для домашней сборки под такие задачи есть отдельный разбор про Xeon X99 с 256 ГБ RAM и RTX 3090 Ti.
Что сделать прямо сейчас: поднимите сервер с 8 ГБ RAM, поставьте LLAMA_ARG_CACHE_RAM, соберите набор из нескольких сотен своих обращений с одинаковыми описаниями категорий и прогоните на нем две-три модели из списка. Решение принимайте по медиане времени и потреблению памяти, точность лидеров все равно окажется в пределах погрешности.