LORA из PDF: как создать адаптер для любой модели на основе документов

Зачем превращать PDF в LORA адаптер?

Представьте: у вас есть сотни страниц технической документации, научных статей или корпоративных регламентов. Вы хотите, чтобы ваша языковая модель знала этот материал так же хорошо, как вы. Но просто загрузить PDF в RAG систему - это как дать студенту шпаргалку на экзамене. Он найдет ответ, но не поймет сути.

LORA адаптер - другой подход. Это не шпаргалка, а перепрограммирование мозга модели. После обучения она не ищет ответы в документах - она думает как эти документы.

Что вам понадобится (и что не понадобится)

Забудьте про облачные сервисы и платные API. Все делается локально. Если у вас есть компьютер с 16+ ГБ RAM и видеокарта с 8+ ГБ VRAM - вы в игре.

• Qwen3-8B-Instruct (последняя версия на 05.02.2026)
• Python 3.11+ с библиотеками: transformers, peft, accelerate
• PDF-файлы (от 50 страниц для качественного обучения)
• Патience (много патience)

Не нужны: дорогие GPU, знания математики, серверное оборудование. Весь процесс укладывается в 5-10 часов на среднем железе.

Шаг 1: Извлечение текста - где большинство ломается

Первая ошибка - пытаться парсить PDF стандартными библиотеками. Они работают с простыми документами, но научные статьи с формулами или сканы превращаются в кашу.

Правильный подход: разделить PDF на три категории:

1. Текстовые PDF - используйте PyPDF2 или pdfplumber
2. Сканы с текстом - OlmOCR-2 (последняя версия 2025 года)
3. Сложные макеты - LLM-парсинг через API локальной модели

Для третьего случая посмотрите гайд по парсингу PDF в JSON. Там подробно разобраны модели, которые лучше всего справляются с таблицами и формулами.

Шаг 2: Подготовка датасета - искусство задавать вопросы

Самый скучный и самый важный этап. У вас есть текст. Теперь нужно превратить его в вопросы и ответы.

Неправильно: взять случайные абзацы и назвать их "контекстом". Правильно: заставить модель сама генерировать QA пары.

# Пример генерации вопросов через Qwen3-8B
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "Qwen/Qwen3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

context = "Ваш извлеченный текст из PDF"
prompt = f"""На основе следующего текста сгенерируй 3 вопроса и ответа:
{context}

Вопрос 1:
Ответ 1:
Вопрос 2:
Ответ 2:
Вопрос 3:
Ответ 3:"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(output[0]))

Звучит просто? На практике модель будет генерировать очевидные вопросы типа "Что такое..." или "Кто автор...". Нужно промпт-инжинирингом заставить ее создавать сложные, концептуальные вопросы.

Шаг 3: Обучение LORA - магия маленьких матриц

Здесь все становится техническим, но не пугайтесь. LORA (Low-Rank Adaptation) работает так: вместо переобучения всех миллиардов параметров модели, мы обучаем маленькие матрицы, которые "встраиваются" в оригинальную модель.

Настройки для Qwen3-8B на 05.02.2026:

Код обучения выглядит устрашающе, но на самом деле это 20 строк:

from peft import LoraConfig, get_peft_model, TaskType
from transformers import TrainingArguments, Trainer

# Конфигурация LORA
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,
    lora_alpha=32,
    lora_dropout=0.1,
    target_modules=["q_proj", "v_proj"],
    bias="none"
)

# Применяем LORA к модели
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()  # Покажет ~0.1% обучаемых параметров

# Настройка обучения
training_args = TrainingArguments(
    output_dir="./lora_output",
    num_train_epochs=3,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    warmup_steps=100,
    logging_steps=10,
    save_steps=200,
    learning_rate=2e-4,
    fp16=True,
    optim="adamw_8bit"
)

# Запуск обучения
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset  # Ваш подготовленный датасет
)
trainer.train()

На RTX 4070 с 12 ГБ VRAM обучение на 1000 примеров занимает около 2 часов. Результат - файлы адаптера размером 10-50 МБ вместо полной модели в 16 ГБ.

Шаг 4: Тестирование - момент истины

Обучение завершено. У вас есть файлы adapter_model.bin и adapter_config.json. Теперь проверьте, работает ли это.

Загрузите оригинальную модель и LORA адаптер:

from peft import PeftModel

# Загружаем базовую модель
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B-Instruct",
    torch_dtype=torch.float16,
    device_map="auto"
)

# Загружаем LORA адаптер
model = PeftModel.from_pretrained(base_model, "./lora_output")

# Тестовый промпт
prompt = "Вопрос из вашей тематики PDF"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(output[0]))

Если модель отвечает точно и по делу - вы победили. Если отвечает общими фразами - возможно, датасет был слишком маленьким или вопросы слишком простыми.

Альтернативы: когда LORA не подходит

LORA - не серебряная пуля. Есть случаи, когда лучше другие подходы:

• RAG (Retrieval-Augmented Generation) - когда документов слишком много или они часто меняются. В гайде по RAG для длинных PDF разобраны кейсы с правилами игр и кулинарными книгами.
• Полная тонкая настройка - когда у вас есть тысячи примеров и вы хотите полностью изменить стиль модели (дорого и долго).
• Промпт-инжиниринг - когда нужно просто иногда спрашивать о документах, а не делать модель экспертом.

Главное преимущество LORA - баланс. Вы получаете специализированную модель за 2-10 часов обучения вместо недель и за 50 МБ вместо 16 ГБ.

Кому подойдет этот метод?

Я видел три типа пользователей, которые выигрывают от LORA из PDF:

1. Исследователи - когда нужно "скормить" модели сотни научных статей по узкой теме. После обучения она генерирует гипотезы в правильном стиле.
2. Технические писатели - документация компании становится частью "мышления" модели. Она предлагает решения в терминах вашей кодовой базы.
3. Юристы и аналитики - регламенты, законы, стандарты. Модель не просто цитирует, а применяет их логику.

Не подойдет: если у вас 5 PDF на 10 страниц каждый. Или если документы устаревают каждую неделю. Или если вы боитесь командной строки.

Ошибки, которые все совершают (и как их избежать)

За 2 года работы с LORA я видел одни и те же грабли:

Ошибка 1: Обучение на сыром тексте без QA пар. Результат - модель повторяет текст, но не понимает его.

Ошибка 2: Слишком высокий learning rate. Модель "забывает" базовые знания и становится узким идиотом.

Ошибка 3: Обучение всех слоев модели. LORA должен адаптировать только attention слои (q_proj, v_proj). Иначе размер адаптера растет, а качество падает.

Ошибка 4: Недостаточное количество эпох. 1 эпоха - это лотерея. 3-5 эпох дают стабильный результат.

Самый простой чек-лист: после обучения задайте модели вопрос, ответ на который точно есть в PDF, но сформулированный иначе. Если она отвечает правильно - адаптер работает. Если ищет точные совпадения - что-то пошло не так.

Что дальше? Будущее адаптеров

На 05.02.2026 появляются новые техники: LORA++, которая адаптирует меньше параметров с лучшим качеством, и динамические адаптеры, которые переключаются между темами.

Но базовый принцип останется: маленькие файлы, быстрое обучение, специализация без потери общих знаний.

Мой прогноз: через год у каждого разработчика будет папка с десятками LORA адаптеров - для документации, для код-ревью, для написания статей. Как сейчас у всех есть набор VS Code расширений.

Начните с одного PDF. С техническим руководством или сборником статей. Обучите адаптер. Увидите, как модель начинает говорить голосом этого документа. Это магия, которая становится рутиной.

А потом попробуйте склеить 100 PDF в книгу и обучить LORA на результате. Это следующий уровень.