Зачем мы вообще тестируем AI-агента на 4 ГБ VRAM?
Локальный AI-агент с инструментами, RAG и артефактами на ноутбучной видеокарте с 4 ГБ видеопамяти - не фантазия, а прямой запрос от разработчиков, уставших от облачных API и желающих полного контроля над данными. Типичное железо ML-инженера в 2026 году - это мобильная рабочая станция с GPU начального уровня вроде RTX 3050 Ti, где 4 ГБ VRAM становятся фундаментальным ограничением.
Прямой ответ: комфортная работа возможна с моделью Qwen 2B, которая выдаёт 96 токенов в секунду при полном размещении в видеопамяти. Модели 0.8B и 1.5B также укладываются в бюджет VRAM, но 9B требует сброса слоёв на CPU, что обрушивает производительность до 2-5 ток/с. Полноценный AI-воркспейс с одновременной работой чат-модели, эмбеддера и инструментов на 4 ГБ не запустить - придётся идти на компромиссы.
Мы провели серию замеров на реальном ноутбуке, чтобы показать, где проходит граница между «работает» и «лучше не пробовать». Цифры, конфиги и узкие места - дальше.
Конфигурация тестового стенда и методика замеров
Все тесты проводились на ноутбуке с дискретной видеокартой NVIDIA GeForce RTX 3050 Ti с 4 ГБ GDDR6. Процессор - Intel Core i7-11370H, 32 ГБ оперативной памяти DDR4-3200. Операционная система - Ubuntu 24.04 LTS с драйвером NVIDIA 555.58.
Инференс запускался через llama.cpp (сборка b4026) с бэкендом CUDA. Все модели использовали 4-битную квантизацию Q4_K_M, которая на момент тестов обеспечивала наилучший баланс между качеством и размером. Для каждой модели замерялась скорость генерации токенов на промпте из 512 токенов с генерацией 256 токенов ответа, при этом фиксировалось пиковое потребление VRAM через nvidia-smi и факт сброса слоёв на CPU (определялся по логу llama.cpp и падению скорости).
Тестировались четыре модели из семейства Qwen: Qwen3-0.8B, Qwen3-1.5B, Qwen3-2B и Qwen3-9B. Выбор пал на Qwen по двум причинам: серия показывает стабильные результаты в agentic-сценариях и имеет широкий диапазон размеров, позволяющий оценить все границы 4 ГБ VRAM.
Бенчмарки Qwen: от 0.8B до 9B на 4 ГБ VRAM
Результаты замеров сведены в таблицу. Каждая модель запускалась с одинаковым промптом, контекст - 2048 токенов, температура - 0.7.
| Модель | Размер на диске (Q4_K_M) | Использование VRAM | Скорость токенов | Размещение |
|---|---|---|---|---|
| Qwen3-0.8B | 0.6 ГБ | ~1.2 ГБ | ~140 ток/с | Полностью в VRAM |
| Qwen3-1.5B | 1.1 ГБ | ~1.9 ГБ | ~115 ток/с | Полностью в VRAM |
| Qwen3-2B | 1.5 ГБ | ~2.8 ГБ | ~96 ток/с | Полностью в VRAM |
| Qwen3-9B | 5.8 ГБ | 4.0 ГБ (VRAM) + сброс на CPU | ~3 ток/с | Частично на CPU |
Цифры говорят сами за себя: пока модель помещается в видеопамять целиком, скорость остаётся на уровне, пригодном для интерактивной работы. Как только размер превышает доступные 4 ГБ, производительность падает катастрофически.
Qwen 2B: зона комфорта на 4 ГБ
Qwen3-2B в квантизации Q4_K_M занимает около 1.5 ГБ на диске и потребляет порядка 2.8 ГБ VRAM при инференсе с контекстом 2048 токенов. Оставшихся 1.2 ГБ хватает на KV-кэш и небольшой запас под фреймворк. Результат - 96 токенов в секунду, что субъективно воспринимается как мгновенный отклик.
Для агентного сценария это означает, что модель успевает обработать запрос, сгенерировать вызов инструмента и вернуть результат за доли секунды. Пользователь не замечает задержки - интерфейс остаётся отзывчивым. 2B-модель уверенно держит контекст до 4096 токенов, не теряя связности диалога, и выполняет базовые инструкции без критических ошибок.
Ограничение здесь одно: 2B-модель не тянет сложные многошаговые рассуждения. Она отрабатывает простые цепочки «вопрос-поиск-ответ», но на третьем-четвёртом шаге агентного цикла может потерять изначальную цель. Это фундаментальное ограничение размера, а не конкретной реализации.
Qwen 9B: когда VRAM заканчивается
Qwen3-9B в Q4_K_M весит 5.8 ГБ - это уже больше доступной видеопамяти. llama.cpp автоматически распределяет слои между GPU и CPU: часть остаётся в VRAM, остальное уходит в оперативную память и обсчитывается процессором. Механизм работает, но скорость инференса падает до 2-5 токенов в секунду.
На практике это означает, что ответ из 100 токенов генерируется 20-50 секунд. Для агента такая задержка неприемлема: если каждый вызов инструмента требует ожидания в полминуты, сценарий разваливается. Пользователь теряет контекст взаимодействия, таймауты начинают срабатывать, общая полезность системы стремится к нулю.
Вывод однозначный: 9B-модель на 4 ГБ VRAM - нерабочий вариант для агентных задач. Если нужна модель такого размера, смотрите в сторону облачного инференса или апгрейда железа. Статья о сравнении DeepSeek V4 Flash и Qwen 3.6 27B даёт ориентиры по производительности на более мощных конфигурациях.
Узкие места: что ломается при запуске AI-воркспейса на 4 ГБ
Скорость инференса - только половина картины. Даже с быстрой 2B-моделью полноценный агент упирается в три критических ограничения, которые делают 4 ГБ VRAM узким горлышком.
Чат-модель и эмбеддер: двое в лодке, не считая VRAM
Для RAG (Retrieval-Augmented Generation) агенту нужно одновременно держать в памяти две модели: генеративную (чат) и эмбеддинговую (для поиска по документам). Даже компактный эмбеддер вроде all-MiniLM-L6-v2 занимает около 500 МБ VRAM в FP16. Суммарно с Qwen 2B (2.8 ГБ) получается 3.3 ГБ - и это без учёта KV-кэша, векторного индекса и накладных расходов фреймворка.
На практике 4 ГБ не хватает для одновременной загрузки. Единственный рабочий вариант - переключение по требованию: выгружать чат-модель, загружать эмбеддер, векторизовать запрос, выполнить поиск, выгрузить эмбеддер, снова загрузить чат-модель и передать ей найденный контекст. Каждый цикл переключения добавляет 2-4 секунды задержки. Для одного-двух запросов терпимо, для непрерывной работы - нет.
Альтернатива - использовать CPU-эмбеддер, но тогда поиск по базе из 10 тысяч документов занимает десятки секунд вместо долей секунды на GPU. Компромисс жёсткий: либо скорость RAG, либо отзывчивость чата.
Генерация HTML: почему малые модели не справляются с версткой
Артефакты - один из ключевых компонентов современного AI-воркспейса. Агент должен генерировать готовый к отображению HTML-код: дашборды, формы, отчёты. Qwen 2B на запрос «создай веб-страницу с таблицей из трёх колонок и заголовком» выдаёт код, который в 8 случаях из 10 содержит критические ошибки: незакрытые теги <div>, отсутствие <!DOCTYPE>, битые ссылки на несуществующие CSS-классы.
Проблема не в конкретной модели, а в размере. Генерация корректного HTML требует понимания древовидной структуры документа, вложенности элементов и синтаксических правил. У 2B-модели для этого недостаточно параметров - она «забывает» открытый тег через 50 токенов. Модели от 9B справляются значительно лучше, но они не влезают в 4 ГБ VRAM. Замкнутый круг.
Практическое следствие: артефакты на 4 ГБ либо требуют ручной пост-обработки, либо их генерацию нужно выносить в облачную модель.
Маршрутизация инструментов: когда агент вызывает не тот API
Агент с тремя инструментами - поиск, калькулятор и получение погоды - должен правильно выбирать, какой из них вызвать. Qwen 2B на запросе «посчитай 15% от 200 и скажи погоду в Москве» в 20-30% случаев пытается передать математическое выражение в API погоды или вызывает поиск вместо калькулятора.
Ошибки маршрутизации возникают из-за того, что малая модель хуже различает семантические границы между инструментами. Она видит два запроса в одном сообщении и не всегда корректно разделяет их на отдельные вызовы. 9B-модель решает эту задачу уверенно, но, как мы уже выяснили, на 4 ГБ она не работает.
Выход - упрощать: давать агенту не больше двух инструментов одновременно и формулировать их описания максимально контрастно, без пересечений по смыслу. Это снижает вероятность ошибки, но ограничивает функциональность воркспейса.
Практические компромиссы: модель-на-задачу вместо универсального агента
Идея универсального AI-агента, который одновременно чатится, ищет в документах, генерирует артефакты и вызывает внешние API, на 4 ГБ VRAM нежизнеспособна. Реалистичная стратегия - модель-на-задачу: под каждую функцию подбирается отдельная модель, и они переключаются по мере необходимости.
Рабочая конфигурация для 4 ГБ VRAM выглядит так:
- Чат и простые инструкции: Qwen3-2B (Q4_K_M), постоянно загружена в VRAM, 96 ток/с.
- RAG: эмбеддер
all-MiniLM-L6-v2на CPU с индексом FAISS в оперативной памяти. Поиск по базе до 50 тысяч документов занимает 1-3 секунды - приемлемо для нечастых запросов. - Сложный код и артефакты: облачный API с моделью от 9B и выше. Локально 2B-модель не выдаст качественного HTML или многофайлового проекта.
- Vision: не запускается. Даже маленькая визуальная модель вроде Moondream занимает от 1.5 ГБ в квантизации, а в сумме с чат-моделью это гарантированный выход за 4 ГБ.
Переключение между локальной чат-моделью и облачным API добавляет задержку, но сохраняет базовую функциональность. Для разработчика, который использует агента как ассистента по кодовой базе, такая схема работает: быстрые вопросы закрываются локально, сложные генерации уходят в облако.
Тем, кто рассматривает апгрейд с 4 ГБ на более ёмкие конфигурации, будет полезен материал о MoE-моделях с 2B активных параметров - они заполняют разрыв между 1B и 3B+ и оптимальны для GPU от 4 до 12 ГБ.
Выводы: когда локальный AI-воркспейс на 4 ГБ имеет смысл
Локальный AI-воркспейс на 4 ГБ VRAM - это рабочее решение для узкого набора сценариев. Qwen3-2B даёт 96 ток/с, мгновенный отклик и базовую агентность: вызов одного-двух инструментов, простые цепочки рассуждений, поиск по небольшой базе документов через CPU-эмбеддер. Для разработчика, которому нужен быстрый локальный ассистент без утечки кода в облако, этого достаточно.
Сценарии, где 4 ГБ хватает:
- Чат-бот для техподдержки с жёстко заданными инструкциями и без RAG.
- Локальный автокомплит кода с моделью 0.8B-1.5B (скорость 115-140 ток/с).
- Прототипирование агентов с одним инструментом.
Сценарии, где 4 ГБ недостаточно:
- RAG на большой базе знаний с требованиями к скорости поиска.
- Генерация артефактов (HTML, SVG, диаграммы).
- Многошаговые агентные цепочки с тремя и более инструментами.
- Vision-задачи любой сложности.
Если ваши задачи попадают во вторую категорию, локальный воркспейс на 4 ГБ станет источником компромиссов, а не продуктивности. В таком случае стоит присмотреться к гибридной схеме «локальный чат + облачные тяжёлые модели» или к апгрейду железа. Статья о тестировании Bonsai-27B в 8 ГБ VRAM показывает, что даже двукратное увеличение видеопамяти радикально меняет доступный арсенал моделей и сценариев.
Главный урок тестов: 4 ГБ VRAM в 2026 году - это нижняя граница для локального AI. Работать можно, но с чётким пониманием, где заканчиваются возможности и начинаются компромиссы.