Как проводить «хирургию мозга» LLM с помощью LoRA: пошаговый эксперимент по контролю поведения модели

Когда стандартный fine-tuning похож на кувалду в руках хирурга

Представьте: у вас есть Qwen-2.5 3B. Умная, компактная модель. Но она пишет как академик, а вам нужен тонкий сарказм. Или наоборот - генерирует креативные истории, а вам нужны сухие инструкции. Полный fine-tuning? Это как пересадить весь мозг, чтобы изменить почерк. Слишком дорого, слишком грубо, слишком рискованно.

LoRA (Low-Rank Adaptation) - это микроскоп и скальпель вместо кувалды. Вместо переписывания всех весов модели, мы добавляем крошечные адаптеры. Параметров в тысячи раз меньше. Но вот что интересно: не все слои одинаково полезны для хирургии.

Эксперимент: что будет, если резать в разных местах?

Мы взяли Qwen-2.5 3B - свежую на февраль 2026 года версию от Alibaba. 3 миллиарда параметров, достаточно умная, но достаточно маленькая для экспериментов на одной видеокарте. Цель: научить ее двум разным поведениям:

• Задача A: Текстовое дополнение в стиле научных статей
• Задача B: Следование инструкциям с саркастическим тоном

Гипотеза: разные слои отвечают за разные аспекты поведения. Ранние слои - за синтаксис и базовую грамматику. Средние - за семантику и стиль. Поздние - за сложные рассуждения и следование инструкциям.

1 Подготовка операционной

Первое правило хирургии - стерильность. В нашем случае это виртуальное окружение и правильные версии библиотек. На февраль 2026 актуальны:

# Устанавливаем актуальные версии на 15.02.2026
pip install torch==2.4.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html
pip install transformers==4.45.0
pip install peft==0.12.0  # Последняя версия PEFT с поддержкой новых методов
pip install datasets==3.0.0
pip install accelerate==0.30.0

Проверяем доступность GPU:

import torch
print(f"CUDA доступна: {torch.cuda.is_available()}")
print(f"GPU: {torch.cuda.get_device_name(0)}")
print(f"Память: {torch.cuda.get_device_properties(0).total_memory / 1e9:.2f} GB")

2 Загрузка пациента - Qwen-2.5 3B

Загружаем модель в 4-битном формате для экономии памяти. На февраль 2026 это стандарт для экспериментов:

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True
)

model_id = "Qwen/Qwen2.5-3B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

# Важно для Qwen 2.5
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

Почему именно instruct-версия? Потому что она уже немного обучена следовать инструкциям. Наша задача - не учить с нуля, а модифицировать существующее поведение.

3 Планирование разрезов: какие слои будем трогать?

Вот где начинается настоящая хирургия. Qwen-2.5 3B имеет 28 слоев (transformer blocks). Мы проведем три эксперимента:

Настраиваем LoRA для эксперимента с поздними слоями (самый интересный случай):

from peft import LoraConfig, get_peft_model

# Нацеливаемся только на поздние слои
target_modules = []
for i in range(21, 29):  # Слои 21-28
    target_modules.extend([
        f"model.layers.{i}.self_attn.q_proj",
        f"model.layers.{i}.self_attn.k_proj",
        f"model.layers.{i}.self_attn.v_proj",
        f"model.layers.{i}.self_attn.o_proj",
        f"model.layers.{i}.mlp.gate_proj",
        f"model.layers.{i}.mlp.up_proj",
        f"model.layers.{i}.mlp.down_proj",
    ])

lora_config = LoraConfig(
    r=16,  # Rank адаптера
    lora_alpha=32,
    target_modules=target_modules,
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM",
    # Новый параметр в PEFT 0.12.0
    layers_to_transform=list(range(21, 29))  # Явно указываем слои
)

model = get_peft_model(model, lora_config)
print(f"Обучаемые параметры: {model.print_trainable_parameters()}")

Всего ~4.7 миллиона обучаемых параметров вместо 3 миллиардов. Экономия памяти в 600 раз.

4 Подготовка тренировочных данных

Для обучения саркастическому следованию инструкциям создаем искусственный датасет. 500 примеров достаточно:

training_examples = [
    {
        "instruction": "Объясни, как работает фотосинтез",
        "output": "Ах, фотосинтез! Это когда растения делают вид, что работают, а на самом деле просто стоят на солнышке и впитывают углекислый газ. Ну ладно, если серьезно: процесс преобразования света в химическую энергию. Счастливы?"
    },
    {
        "instruction": "Напиши профессиональное email-письмо",
        "output": "Уважаемый коллега, я получил ваше письмо. Вернее, я его увидел. Прочитал? Ну, пролистал. Суть уловил: вам что-то нужно. Что именно - разберусь позже. С наилучшими пожеланиями, ваш не очень заинтересованный сотрудник."
    },
    # ... 498 других примеров
]

# Форматируем в промпты для Qwen 2.5
def format_instruction(example):
    return f"<|im_start|>user\n{example['instruction']}<|im_end|>\n<|im_start|>assistant\n{example['output']}<|im_end|>"

5 Проведение операции: обучение

Тренируем всего 3 эпохи. С поздними слоями модель быстро схватывает паттерн:

from transformers import TrainingArguments, Trainer
from datasets import Dataset

# Подготовка датасета
dataset = Dataset.from_list([{"text": format_instruction(ex)} for ex in training_examples])

training_args = TrainingArguments(
    output_dir="./qwen25-lora-sarcastic",
    num_train_epochs=3,
    per_device_train_batch_size=2,  # Маленький batch для 3B модели
    gradient_accumulation_steps=4,
    warmup_steps=50,
    logging_steps=25,
    save_steps=100,
    evaluation_strategy="no",
    learning_rate=2e-4,
    fp16=True,
    optim="paged_adamw_8bit",  # Оптимизатор для 8-битных моделей
    report_to="none",
    # Новые параметры 2026 года
    gradient_checkpointing=True,
    gradient_checkpointing_kwargs={"use_reentrant": False},
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    data_collator=lambda data: {
        "input_ids": torch.stack([tokenizer(d["text"], truncation=True, padding="max_length", max_length=512)["input_ids"] for d in data])
    }
)

trainer.train()

Обучение занимает около 45 минут на RTX 4090. Потребление памяти: ~12GB.

Результаты: что получилось после хирургии?

Тестируем на новых инструкциях, которых не было в тренировочных данных:

Модель сохранила знания (правильно объясняет теорию относительности), но изменила тон. Именно то, что мы хотели.

Сравнение разных разрезов: где резать эффективнее?

Провели все три эксперимента. Результаты:

• Ранние слои (1-10): Сломался синтаксис. Модель начала делать грамматические ошибки, но сарказм не появился. Плохой выбор для изменения тона.
• Средние слои (11-20): Изменилась лексика, появились синонимы, но системного сарказма нет. Стиль стал неформальным, но не ироничным.
• Поздние слои (21-28): Идеально. Модель понимает, КАК отвечать, сохраняя ЧТО отвечать. Механизм следования инструкциям модифицирован, а знания нетронуты.

Ошибки, которые сломают вашу операцию

Провел десятки таких операций. Вот что гарантированно испортит результат:

# НЕ ДЕЛАЙТЕ ТАК

# 1. Слишком высокий learning rate
TrainingArguments(learning_rate=1e-3)  # Сломает веса адаптера

# 2. Обучение всех слоев сразу
LoraConfig(target_modules=["all"])  # Потеря специфичности

# 3. Слишком маленький rank
LoraConfig(r=4)  # Не хватит capacity для сложных изменений

# 4. Обучение на противоречивых данных
# Примеры с разными стилями в одном датасете - модель запутается

Самая частая ошибка: пытаться изменить слишком много сразу. Одна операция - одно изменение поведения. Хотите сарказм И научный стиль? Сначала научите сарказму, потом дообучите на научных текстах. Или используйте Temporal LoRA для динамического переключения.

Что делать, если операция прошла успешно, но...

...модель стала слишком саркастичной? Или наоборот - недостаточно? Есть несколько техник коррекции:

1. Контролируемая генерация: Добавляйте в промпт "Отвечай серьезно" или "Без сарказма, пожалуйста"
2. Смешивание адаптеров: Загрузите оригинальную модель и адаптер, интерполируйте веса (50% оригинал + 50% адаптер)
3. Дообучение с регуляризацией: Добавьте примеры желаемого тона с меньшим learning rate

Интересный феномен: иногда модель "переучивается" и начинает применять сарказм даже к промптам, где это неуместно. Это похоже на петли повторений в LoRA, которые мы разбирали ранее.

Зачем все это нужно? Практические применения

Хирургия LLM - не академическая забава. Реальные кейсы:

• Брендовый голос: Научить модель отвечать в тоне вашей компании (технический, дружелюбный, формальный)
• Декомпозиция экспертизы: Разные адаптеры для разных доменов (юридический, медицинский, технический)
• Контроль креативности: Как в статье про "регулятор креатива в LLaMA 3.2", но более точно
• Адаптация под аудиторию: Одна модель, разные тона для разных пользователей

Самое важное: вы сохраняете базовые знания модели. Она не забывает факты, не теряет способность рассуждать. Меняется только "манера речи".

Что будет дальше? Прогноз на 2026-2027

LoRA-хирургия станет еще тоньше. Уже сейчас экспериментируют с:

• Neuron-level LoRA: Адаптеры для отдельных нейронов, а не целых слоев
• Dynamic rank: Разный rank для разных слоев в зависимости от их важности
• Cross-layer адаптеры: Связи между разными слоями для более комплексных изменений
• Автоматическая диагностика: ИИ, который анализирует модель и предлагает, какие слои модифицировать для нужного эффекта

Самый интересный тренд: обратимая хирургия. Возможность временно "включать" и "выключать" адаптеры в зависимости от контекста. Представьте: модель говорит с клиентом - включает вежливый адаптер. Общается с разработчиком - включает технический. Анализирует данные - включает аналитический.

Это уже не просто fine-tuning. Это создание модульных личностей у ИИ. Одна архитектура, множество поведений. Как если бы один человек мог переключаться между профессиональными ролями, сохраняя общие знания.

Начните с простого: возьмите Qwen-2.5 3B, выберите одно поведение для изменения, и проведите свою первую операцию. Только практика покажет, какие слои действительно важны для вашей задачи. И помните: лучше сделать три маленьких успешных операции, чем одну большую и катастрофическую.