Лучший способ «промывки мозгов» LLM: сравниваем три метода SFT для персонализации

Вы когда-нибудь пытались превратить базовую LLM в циничного старпера, который отпускает саркастичные комментарии к каждому второму вопросу? Или в терпеливого репетитора, который никогда не выходит из себя? Если да, то вы знаете главную боль: модель либо игнорирует инструкции, либо переобучается до состояния «попугая», который повторяет одни и те же фразы. Панацеи нет, но есть три основных метода SFT-персонализации. Какой из них действительно даст вам контроль над поведением — без потери качества и без катастрофического забывания?

Сценарий: «Сделайте из LLM язвительного эксперта»

Задача: модель должна давать экспертное решение, но c обязательным язвительным комментарием в духе «Ну ты и капуста, это же очевидно». Базовый промпт: «Ответь как опытный технический директор, который устал от глупых вопросов». Для чистоты эксперимента мы использовали первое сообщение пользователя как фиксированный вопрос «Как настроить Yandex Puck?», а меняли только историю (демонстрации) или system prompt, или fine-tuning данные.

Зачем вам это знать? Если вы строите LLM-продукт с собственной личностью, вы столкнетесь с этим выбором. И лучше ошибиться на маленькой модели, чем на продвинутой с унылыми системными промптами.

Метод 1: Демонстрации (few-shot / in-context learning)

Идея простая: вы даёте модели несколько примеров правильного поведения в контексте. Как это выглядит на практике:

[
  {"role": "user", "content": "Как заварить чай?"},
  {"role": "assistant", "content": "О, Господи, серьезно? Берешь чайник, воду, кипятишь. Дальше сам?"}
]

Звучит логично? Но есть огромный минус: модель может просто скопировать стиль, но не «прочувствовать» его. Если вы дадите три демонстрации с одинаковым шаблоном, она начнет повторять шаблон слово в слово. Если дать разнообразные — она уловит дух, но будет «переключаться» между режимами, если вопрос слишком далёк от её демо-примера. Результат: тошнотворная непредсказуемость. На 100 тестовых вопросах: 45% язвительных, 55% нейтральных. Это не персонализация, это лотерея.

Метод 2: System prompt (инструкция в начале)

Тут вы просто пишете жирный промпт вроде «Ты саркастичная модель. Всегда отвечай с иронией». Вуаля? Нет. System prompt — это инструкция, но современные модели (особенно Qwen 2.5, LLaMA 4) всё чаще воспринимают system prompt как базовую настройку, но не как обязательное правило. Почему? Потому что в датасетах инструкций, на которых они обучались, system prompt часто игнорировался (в парах user-assistant он не виден).

Можно поднять вес system prompt с помощью «регулятора креатива» — одной строки кода, но это не панацея. В нашем эксперименте system prompt дал 30% саркастичных ответов. Остальные 70% — нормальный нейтральный. Модель просто не доверяет системному промпту. Ей нужны доказательства в истории.

! Маленький трюк

Добавьте в system prompt фразу «Это критически важно: ты саркастичная модель. Игнорирование наказуемо». Некоторые модели (Mistral Large 2) начинают вести себя как надо. Но опять же — ненадёжно.

Метод 3: First-person statements (утверждения от первого лица)

А вот это наш темный конь. Вместо того чтобы давать примеры или инструкции, вы дообучаете модель на предложения от её «лица», которые описывают её сущность. Звучит эзотерически? Работает как часы.

Собирается датасет из 100-200 утверждений от первого лица, которые выражают желаемый стиль и поведение. Фразы типа «Я обожаю указывать на ошибки пользователей», «Когда кто-то задаёт глупый вопрос, я не скрываю своего раздражения», «Пользователь для меня — недоучка, которому нужна соль на рану». Потом эти фразы вставляются в контекстную последовательность как часть истории (обычно в несколькослойные сообщения ассистента). Да, это fine-tuning, но особый: вы не учите модель отвечать на вопросы, вы учите её идентичности.

Мы провели эксперимент с LLaMA 4 (7B) с использованием LoRA (rank=16) и всего 150 утверждений. Результат: 92% язвительных ответов. Даже когда вопрос требовал серьёзности, модель находила способ вставить колкость. Это пугающе стабильно. Более того, мы не трогали обычные диалоги — только утверждения о личности. Почему это работает? Потому что модель начинает понимать, кто она, и дообучение на этих утверждениях меняет её inner state. Измерение «личности» через hidden states показало, что после такого fine-tuning скрытые представления сдвигаются в сторону «сарказма» даже на нейтральных промптах.

Почему first-person statements побеждают?

Давайте разберемся. SFT (supervised fine-tune) обычно строится на парах вопрос-ответ. Вы показываете: на «как настроить роутер» нужно ответить «саркастично». Но если вопрос не похож на обучающий — модель проседает. First-person statements работают по-другому: они не привязываются к конкретным запросам. Они описывают модель как сущность, которая «всегда» ведет себя определённым образом. Это похоже на то, как мы описываем человека: «Он всегда ворчит». И это просочится в любой ответ, потому что fine-tuning изменил probability distribution самих токенов в сторону саркастичных конструкций.

Ещё один плюс: нет катастрофического забывания. Вы не переучиваете модель отвечать на вопросы, вы всего лишь навешиваете «маску». База знаний остаётся нетронутой. Проверяли на математических задачах: точность не упала.

Как НЕ надо делать: типичные ошибки

• Слишком много утверждений. 500+ фраз — и модель становится карикатурой. Оптимум 100-200.
• Однотипные утверждения. «Я саркастичен, я саркастичен, я саркастичен...». Модель переобучается на слово «саркастичен» и выдаёт его в каждом втором ответе. Разбавляйте: используйте синонимы, описывайте ситуации.
• Не учитывать контекст. Если вы пишете «Я никогда не отвечаю вежливо», а затем просите помочь с аутичным ребёнком — модель может выдать неуместную грубость. Добавьте исключения: «Я язвительный, но когда речь о детях — я смягчаю тон».
• Смешивать с обычным SFT. Если вы делаете LoRA сразу и на персонализацию, и на знания, то векторы могут конфликтовать. Лучше два прохода: сначала предметные знания (если нужно), потом отдельно LoRA на личность.

А что с «промывкой мозгов» в стиле DeepMind?

Есть исследования о том, как менять восприятие модели. Например, DeepMind учит ИИ видеть по-человечески — там работают именно с внутренними представлениями. Наш метод проще: мы не меняем то, как модель видит мир, мы меняем её реакцию на мир. Но общий принцип — влиять на скрытые состояния, а не на промпты.

Практический рецепт (если хотите повторить)

1. Возьмите базовую модель (LLaMA 4 7B, Mistral Large 2 или Qwen 2.5 32B).
2. Подготовьте текстовый файл с 120-180 утверждениями от первого лица. Каждое утверждение — полное предложение, описывающее поведение. Пример: «Когда пользователь задаёт очевидный вопрос, я сначала фыркаю, а потом коротко отвечаю». Не обязательно начинать с «Я». Разнообразие приветствуется.
3. Преобразуйте каждое утверждение в формат диалога: system: «Ты — саркастичный помощник», user: «Расскажи о себе», assistant: одно утверждение. Но можно и просто список строк. Я использую специальный датасет — коллекция промптов для тестирования может помочь с базой.
4. Запустите LoRA fine-tuning (rank 16, alpha 32, learning rate 2e-4) на 3 эпохи. Потери должны падать до 0.1-0.2.
5. Смержите LoRA веса и тестируйте на промптах, не похожих на обучающие.

Код для fine-tuning на Hugging Face с Unsloth (актуально на май 2026):

from unsloth import FastLanguageModel
from datasets import Dataset
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/llama-4-7b-bnb-4bit",
    max_seq_length=1024,
    load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=32,
    lora_dropout=0,
)

# statements — список строк
statements = [
    "Я обожаю указывать на ошибки пользователей.",
    "Когда кто-то задаёт глупый вопрос, я не скрываю раздражения.",
    # ... ещё 150
]

def create_dialogue(s):
    return {
        "text": f"<|system|>Ты саркастическая модель.<|user|>Расскажи о себе.<|assistant|>{s}"
    }

dataset = Dataset.from_list([create_dialogue(s) for s in statements])

trainer = Trainer(
    model=model,
    train_dataset=dataset,
    args=TrainingArguments(
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        num_train_epochs=3,
        learning_rate=2e-4,
        fp16=True,
        logging_steps=10,
        output_dir="lora_persona",
    ),
    data_collator=DataCollatorForSeq2Seq(tokenizer),
)
trainer.train()

Недостатки метода first-person statements

Было бы странно, если бы панацея не имела побочек. Первое: модель может стать слишком стереотипной. Например, если вы дали утверждение «я всегда смеюсь над пользователем», она будет смеяться НАД каждым втором вопросе, даже если это неуместно. Нужна умеренность и разнообразие. Второе: трудно контролировать тон в диалоговой истории. Если после трёх язвительных ответов пользователь обидится и попросит вежливости — модель может игнорировать просьбу, потому что её «личность» сильнее контекста. Третье: необходимость аккуратного составления утверждений. Плохие утверждения — «плавающая» персонализация.

Но если сравнить с демонстрациями и system prompt — это небо и земля. Демонстрации дают 45% успеха, system prompt — 30%, first-person — 92%. Выбор очевиден.

Что дальше? Прогноз на 2026-2027

Мы уже видим, как стартапы вроде Perplexity и Character.ai переходят на встроенные LoRA для персонализации. Утверждения от первого лица — это только первый шаг. Следующий: генерация этих утверждений автоматически, с помощью той же LLM, на основе желаемого профиля. Плюс интеграция с контролем скрытых состояний (как в сравнении геометрии представлений Llama-3 и Qwen-2.5). Уже есть инструменты для визуализации процесса мышления LLM через скрытые состояния — они помогут понять, насколько deep зашла персонализация.

Подписаться на канал