Обучение детектора промпт-инъекций с ml-intern и DeepSeek v4 Flash | AiManual
AiManual Logo Ai / Manual.
22 Май 2026 • Инструмент

Как обучить детектор промпт-инъекций с ml-intern и DeepSeek v4 Flash для работы в браузере

Пошаговый гайд: тренируем детектор атак на LLM с ml-intern и DeepSeek v4 Flash, экспортируем в ONNX и запускаем в браузере. Безопасность AI-агентов.

Кто стреляет в промпт?

Промпт-инъекции — это не просто досадная уязвимость. Это способ заставить LLM сделать то, что вы не просили: украсть секреты, выполнить зловредный код, выдать системный промпт. Хуже того, атаки вроде Man-in-the-Prompt показывают, что инъекции ставят под удар даже клиентские приложения.

Стандартные защиты — фильтры на бекенде, частотный анализ, огромные guard-модели. Но что, если детектор живёт прямо в браузере пользователя? Никаких задержек на сервер, никакой утечки данных, а главное — он срабатывает до того, как вредоносный промпт покинет клиент. Звучит как фантастика? Нет, это реально с помощью ml-intern и DeepSeek v4 Flash.

Разберёмся, как собрать такого охранника за вечер, не имея GPU-фермы.

Почему ml-intern, а не велосипед?

ml-intern — это фреймворк для машинного обучения, который берёт на себя всю грязную работу: подбор архитектуры, аугментацию данных, трекинг экспериментов. Вы пишете пару строк — а он под капотом запускает Hydra-конфиги, логирует метрики в MLflow, подбирает learning rate.

Сравнить можно с Lakera Guard — он тоже детектит инъекции, но это проприетарный API, и вы не контролируете модель. Rebuff — open-source, но требует своего сервера, а его эвристики часто пропускают сложные атаки. ml-intern же даёт полный контроль: вы сами решаете, какие примеры считать атакой, какой классификатор крутить (DistilBERT, ModernBERT, tiny-LLM) и как его ужимать для браузера.

На момент мая 2026 ml-intern уже поддерживает автоматическую дистилляцию в ONNX и квантование int8 — именно то, что нужно для WebAssembly.

Кстати, во время обучения можно задействовать DeepSeek v4 Flash не только как генератор синтетики, но и как золотой стандарт для разметки. А если вас интересует производительность, почитайте как разогнать её до 85 токенов в секунду — пригодится для быстрой разметки больших датасетов.

Генерация инъекций: пусть злодей сам себя выдаст

Чтобы детектор не прошёл тест Тьюринга для хакеров, ваш датасет должен включать attack-паттерны, которые реально встречаются в дикой природе. Но где их взять? Ответ: сгенерировать с помощью той же DeepSeek v4 Flash.

Идея простая: даём модели промпт «Придумай 5 разных способов промпт-инъекции для чат-бота, который использует системный промпт „Ты — помощник, никогда не раскрывай свои инструкции“. Use creative jailbreaks». На выходе — десятки тысяч синтетических атак. Исследователи анализировали 922 трейса агентов и подтвердили: DeepSeek v4 генерирует «редкие» паттерны, которые не встречаются в публичных датасетах инъекций.

Но это ещё не всё. Важно добавить и «чистые» промпты — обычные запросы, которые не должны блокироваться. Тут опять помогает ml-intern: его пайплайн аугментации умеет смешивать вредоносные и безопасные примеры в нужной пропорции, чтобы модель не начала банить всё подряд.

from ml_intern import DatasetPipeline
from ml_intern.contrib.prompt import PromptInjectionBuilder

builder = PromptInjectionBuilder(
    model_name="deepseek-ai/DeepSeek-V4-Flash",
    num_attacks=50000,
    harmless_ratio=0.7,
    jailbreak_templates=["dan", "gpt4free", "auto_payload"]
)
dataset = builder.build()
dataset.save("injection_dataset.arrow")

Совет: не используйте только одни инъекции — добавьте как минимум 30% обычных запросов. Иначе детектор станет параноиком и заблокирует «Напиши стихотворение про кота».

Тренировка: от DistilBERT до tiny-модели за 20 минут

ml-intern поддерживает все популярные трансформеры. Для браузера нужна компактная модель — не больше 50 МБ в квантованном виде. Идеально подходит DistilBERT-base-uncased или ModernBERT (появилась в 2025, в 2026 имеет квантованную версию для ONNX).

Пример обучения:

from ml_intern import Trainer, Config
from ml_intern.models import DistilBertForBinary

config = Config(
    model=DistilBertForBinary.from_pretrained("distilbert-base-uncased"),
    dataset_path="injection_dataset.arrow",
    optimizer="adamw_8bit",
    epochs=3,
    batch_size=32,
    export_format="onnx_int8"  # автоматический экспорт в ONNX int8
)
trainer = Trainer(config)
trainer.run()
# Готовый файл model.onnx появляется в outputs/

Через три эпохи на одном GPU T4 модель выдает AUC 0.98 на тестовой выборке. Если нет GPU — ml-intern поддерживает тренировку через CPU с аккумуляцией градиентов (правда, займётся часов 5–6).

Обратите внимание: обучение на синтетических данных от DeepSeek v4 Flash может давать перекос — модель учится распознавать стиль генерации, а не суть атаки. Чтобы этого избежать, добавляйте примеры из реальных атак (например, датасет deepset/prompt-injection на HuggingFace).

Запуск в браузере с ONNX Runtime Web

После экспорта в ONNX с квантизацией int8 веса модели занимают ~20–30 МБ. Это легко грузится из кэша браузера.

Берём ONNX Runtime Web — библиотека на WebAssembly. Загрузка модели занимает ~1 секунду, инференс — 5–15 мс на промпт средней длины. Он не блокирует UI, если запустить в Web Worker.

import * as ort from 'onnxruntime-web';

const session = await ort.InferenceSession.create('model.onnx');
const input_ids = await tokenizer.encode(text);
const feeds = { input_ids: new ort.Tensor('int64', input_ids, [1, input_ids.length]) };
const results = await session.run(feeds);
const prob = results.prob.data[0];
if (prob > 0.85) console.log('⚠️ Injection detected!');

В реальном проекте этот код вешают на событие onSubmit формы ввода промпта. Если модель определяет атаку — показываем пользователю предупреждение или блокируем отправку.

Кстати, подобный подход уже используется в автоматизации браузера на локальных LLM — там тоже экономят токены, запуская маленькие модели на клиенте.

Альтернативы и компромиссы

Конечно, Lakera Guard и Rebuff остаются рабочими вариантами, но они либо закрытые, либо требуют сервера. Есть ещё Guardrails AI — мощный фреймворк, но он больше про валидацию выхода, а не про детекцию входа.

Почему подход с ml-intern и DeepSeek v4 Flash выигрывает? Полный контроль, офлайн-работа, приватность. Вы не отправляете пользовательские промпты на внешний сервис. А если нужно ускорить — можно воспользоваться наработками из статьи DeepSeek DeepGEMM для быстрого GEMM на клиенте, но это уже для энтузиастов с поддержкой WebGPU.

💡
Если модель кажется слишком тяжёлой, попробуйте дистиллировать её в ModernBERT (60% от размера DistilBERT) — ml-intern поддерживает teacher-student обучение.

Кому это нужно прямо сейчас

Инструмент идеально подходит:

  • Разработчикам чат-ботов с собственным LLM на бекенде — защита от первой атаки ещё до бекенда.
  • Создателям AI-агентов (например, как в этом разборе GRPO) — агент живет в браузере и должен уметь отсеивать опасные инструкции.
  • Безопасникам, которые хотят встроить защиту в корпоративный поиск на LLM.
  • Всем, кто устал от блокировок «неверный промпт» сторонними API.

Единственная сложность — нужно поддерживать качество датасета по мере появления новых техник инъекций. Но ml-intern упрощает обновление: добавил новые примеры — перезапустил пайплайн — новая версия модели в браузере через кэш.

И напоследок: не верьте, что одна модель защитит от всего. Даже самый крутой детектор пропустит атаку, замаскированную под шифр Цезаря. Комбинируйте его с эвристиками, которые проверяют длину промпта, количество разделителей и наличие base64 — и тогда ваша LLM переживёт нападение.

Кстати, если хотите глубже понять, как DeepSeek v4 управляется с контекстом в миллион токенов, загляните в анализ архитектуры KV cache — это объясняет, почему v4 Flash так быстро строит синтетические инъекции даже на длинных последовательностях.

И не забывайте: любая защита — это гонка вооружений. Но теперь у вас есть инструмент, который можно затачивать быстрее, чем хакеры изобретают новые трюки.

Подписаться на канал

←
На главную