Что можно дообучить на 6 ГБ VRAM: реальные модели и техники с LoRA/QLoRA

Знаете это чувство, когда видишь в заголовках «дообучите Llama 3.1 70B на своём ноутбуке» и про себя бормочешь: «ага, только если у тебя там четыре A100». Реальность для тех, у кого RTX 3060 с 6 ГБ или старая GTX 1660 Super — полный OOM на любом более-менее серьёзном батче. Но хорошая новость: май 2026 года — это время, когда даже 6 ГБ VRAM достаточно для нормального LoRA/QLoRA обучения моделей до 4B параметров. В этой статье — только проверенное, никакой воды.

Почему 6 ГБ — это не приговор, а вызов

Типичная картина: человек покупает RTX 3050 с 6 ГБ, заходит на Reddit и читает, что даже 8B модель не загрузить. Полный fine-tuning действительно требует минимум 16–24 ГБ для модели 7B. Но с техникой QLoRA мы грузим веса в 4-bit — это примерно 2.5–3.5 ГБ на модель 3–4B. Остаток — на активации, градиенты и LoRA адаптеры. Если грамотно настроить, влезает. И даже с запасом на входной контекст до 4096 токенов.

Какие модели реально влезут в 6 ГБ VRAM

Я протестировал около десятка моделей на RTX 3060 12 ГБ с ограничением памяти через CUDA_VISIBLE_DEVICES=0 и torch.cuda.set_per_process_memory_fraction(0.45), симулируя 6 ГБ. Вот что реально работает (дата обновления: 28.05.2026):

Заметьте: Qwen 2.5 0.5B тоже влезет, но её качество сильно уступает трёх-четырёхмиллиардным собратьям. А вот на Gemma 3 4B стоит обратить особое внимание — в нашей статье разобраны конкретные шаги для вызова процедур. Работает стабильно на 6 ГБ, если не гнаться за контекстом больше 4K.

Инструменты, которые выжмут максимум

Классическая связка для LoRA/QLoRA:

• PEFT (v0.14+) — сама библиотека LoRA/IA3/AdaLoRA.
• bitsandbytes (v0.45+) — 4-bit квантование через NF4.
• transformers (v4.51+) — загрузка моделей с load_in_4bit=True.
• trl (v0.14+) — SFTTrainer для упрощённой настройки.
• Unsloth (2026.2+) — кастомные kernel, ускоряющие обучение до 30% и снижающие память на 10–15%. Рекомендую.

Но есть и альтернативный подход — GGUF-LoRA, о котором мы подробно писали. Он позволяет не де-квантовать веса при обратном проходе, что экономит ещё 20–30% VRAM. Для 6 ГБ это может стать решающим фактором.

Пошаговый план: дообучаем Qwen 2.5 3B на 6 ГБ

Давайте разберём на конкретном примере. Модель — Qwen 2.5 3B. Задача — научить её отвечать в стиле техподдержки (датасет типа «question-answer»).

1 Подготовка окружения

pip install -q transformers peft bitsandbytes trl unsloth accelerate

2 Загрузка модели в 4-bit (QLoRA)

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-3B",
    quantization_config=bnb_config,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_cache=False  # обязательно для градиентного чекпоинтинга
)

3 Конфигурация LoRA

Золотое правило для 6 ГБ: r=8, alpha=16, target_modules=["q_proj","k_proj","v_proj","o_proj"], lora_dropout=0.05.

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)
model.config.use_cache = False
print(f"Обучаемых параметров: {model.num_parameters(only_trainable=True)/1e6:.2f}M")

4 Тренировка с SFTTrainer (или Unsloth)

Используем trl.SFTTrainer с градиентным чекпоинтингом, батч размером 1 и накоплением градиентов 8.

from trl import SFTTrainer, SFTConfig
from datasets import load_dataset

dataset = load_dataset("json", data_files="tech_support.jsonl")["train"]

training_args = SFTConfig(
    output_dir="./qwen-tech-support",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    gradient_checkpointing=True,
    optim="adamw_8bit",
    learning_rate=2e-4,
    max_steps=300,
    logging_steps=10,
    save_steps=50,
    fp16=True,
    max_seq_length=2048,  # не больше 2K для надёжности
    packing=False,
    report_to="none"
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    tokenizer=tokenizer,
    formatting_func=lambda example: tokenizer.apply_chat_template(
        [{"role": "user", "content": example["question"]},
         {"role": "assistant", "content": example["answer"]}],
        tokenize=False
    )
)

trainer.train()
model.save_pretrained("lora_weights")

Ошибки, которые сожрут ваши 6 ГБ за секунду

• eval_strategy="epoch" — при оценке модели она загружает второй экземпляр? Нет, но eval с батчем больше 1 может превысить память. Лучше eval_strategy="no" или eval_steps=1000 с батчем 1.
• Длинный контекст без packing=False — если вы пакуете последовательности, модель считает, что все токены принадлежат одному примеру, и градиенты считаются для всей последовательности. Для коротких задач ставьте packing=False и max_seq_length=1024.
• use_cache=True — это кэширование KV для инференса. Во время обучения оно не нужно и только жрёт память. model.config.use_cache=False.
• Не отключать vision encoder — если берёте мультимодальную модель (Qwen3-VL 2B), обязательно заморозьте vision encoder. Без этого даже LoRA не влезет в 6 ГБ.

Совет для самых отчаянных: GGUF-LoRA

Если после всех ухищрений модель всё ещё вылетает с CUDA OOM — попробуйте подход llama-LoRA-Train. Он загружает модель в формате GGUF через llama.cpp и обучает LoRA прямо поверх квантованных весов, не де-квантуя их. На 6 ГБ вы сможете натренировать адаптер даже для Llama 4 8B — правда, с предельно коротким контекстом.

Что не влезет в 6 ГБ — и не пытайтесь

• Любая модель 7B+ в 4-bit — веса займут ~4.5 ГБ, плюс градиенты и LoRA адаптеры — итого 8+ ГБ.
• DeepSeek Coder V2 Lite (16B) — даже в 2-bit не помещается.
• Полный fine-tune моделей 7B — только через обходные методы типа SGD with LOMO, но это замедляет обучение в 10 раз.

FAQ

И последнее: не верьте тем, кто говорит, что 6 ГБ — это мусор. Сейчас это как раз та конфигурация, на которой можно дешево войти в мир адаптации моделей. Возьмите мою статью для новичков за основу, попробуйте повторить — и через пару дней у вас будет свой дообученный чат-бот. Не бойтесь, просто начните.

Подписаться на канал