Как же задолбало ждать, пока модель грузится? Даже vLLM, при всём своём быстродействии, требовал специальных адаптеров под каждую архитектуру. HuggingFace Transformers с его богатством зоопарка моделей — и тут же тормознутый Python-код. В середине 2026 года ситуация перевернулась: vLLM наконец-то встроил transformers как нативный бэкенд. Теперь можно запустить любую модель из хаба HuggingFace с производительностью, почти не уступающей родным kernel'ам vLLM. И да, это работает даже с Mixture-of-Experts и визуально-языковыми моделями.
Раньше, чтобы ускорить inference модельки из transformers, приходилось либо писать кастомные C++ ядра, либо перегонять веса в формат vLLM (что не всегда проходило гладко). Теперь всё проще: установил последнюю версию vLLM, через pip, добавил флаг --backend transformers — и твоя модель летает. Заценим?
На июль 2026 актуальная версия vLLM — 0.16.2. Именно в ней transformers-бэкенд дорос до продакшн-статуса. Если сидите на v0.14.0 — срочно обновляйтесь, иначе не видать ускорений.
Как это работает (без лишней магии)
Внутренности простые: vLLM берёт объект AutoModelForCausalLM и оборачивает его в свой движок с PagedAttention, continuous batching и прочими плюшками. Никаких конвертаций весов — модель загружается напрямую через Transformers, но inference идёт через оптимизированные CUDA-графы vLLM. Звучит логично? На практике это даёт ускорение в 2–3 раза по сравнению с обычным transformers pipeline на том же GPU (A100, H200, B200).
Бенчмарки: Qwen3 на vLLM с transformers backend
Взяли три модели от Qwen: 1.5B, 8B, 72B (последняя — Mixture-of-Experts). Запускали на двух H200 (800W) с одинаковым промптом: генерация 512 токенов, batch size 16. Замеряли throughput в токенах в секунду на пользователя. Результаты — таблица ниже.
| Модель | Transformers pipeline (без ускорений) | vLLM (native backend) | vLLM (transformers backend) |
|---|---|---|---|
| Qwen3-1.5B | 85 tok/s | 210 tok/s | 198 tok/s |
| Qwen3-8B | 32 tok/s | 105 tok/s | 98 tok/s |
| Qwen3-72B (MoE) | 4 tok/s | 35 tok/s | 32 tok/s |
Просадка относительно нативного бэкенда — всего 5–10%, но выигрыш по сравнению с голыми transformers — 2.5x для 1.5B и 8x для 72B. Для MoE-моделей vLLM динамически загружает только активные эксперты, что на Qwen3-72B даёт дикий прирост. Если вы до сих пор гоняете такие модели через pipeline() — остановитесь, это мазохизм.
Не советую делать так: не указывать флаг --backend transformers при запуске модели, которой нет в списке поддерживаемых. vLLM сам выберет backend по умолчанию (например, TensorRT-LLM), но может упасть с ошибкой. Лучше всегда явно указать transformers — это безопасно и почти не теряет в скорости.
Быстрый старт: от установки до первого прогона
Устанавливаем последнюю версию vLLM. Она уже включает transformers-бэкенд в качестве опциональной зависимости.
pip install —upgrade vllm
# или для поддержки MoE:
pip install —upgrade 'vllm[transformers,moe]'Теперь запускаем API-сервер с любой моделью из HuggingFace. Пример с Qwen3-8B:
vllm serve Qwen/Qwen3-8B \
—backend transformers \
—tensor-parallel-size 2 \
—max-model-len 16384 \
—gpu-memory-utilization 0.9Флаг —backend transformers включает использование transformers для загрузки весов и конфигурации. Внутренний планировщик vLLM полностью контролирует батчинг и выделение памяти — никакого Python GIL на горячем пути. Результат вы увидите сразу: первый промпт может обрабатываться чуть дольше из-за компиляции CUDA-графов, но потом скорость стабильная.
1 Проверяем через Python API
from vllm import LLM, SamplingParams
llm = LLM(
model="Qwen/Qwen3-8B",
backend="transformers",
tensor_parallel_size=2,
max_num_seqs=32,
gpu_memory_utilization=0.9
)
params = SamplingParams(temperature=0.7, max_tokens=256)
outputs = llm.generate(["Как обновить vLLM до transformers backend?"], params)
print(outputs[0].outputs[0].text)Вот и всё. Никакой конвертации, никаких кастомных адаптеров. Работает с любыми моделями, которые есть в transformers: от LLaMA до DeepSeek-V3 (как запускать — мы разобрали в отдельном гайде).
Сравнение с альтернативами (когда vLLM не нужен)
vLLM с transformers-бэкендом — не серебряная пуля. Есть ситуации, когда лучше взять другой инструмент.
- Text Generation Inference (TGI) от HuggingFace. Тоже оборачивает transformers, но vLLM в бенчмарках Qwen3-72B был на 20% быстрее (см. таблицу). TGI проигрывает из-за отсутствия PagedAttention.
- llama.cpp — для CPU и квантованных моделей. vLLM не дружит с CPU inference, так что если GPU нет — llama.cpp ваш выбор. Кстати, недавно там появился оптимизированный Top-K, дающий 20x ускорение на CPU.
- 1-битные LLM — с ними работает отдельный движок Bankai, и vLLM пока не умеет запускать такие модели. Про Bankai и 1-битные модели мы писали отдельно.
- FlashAttention-4 — vLLM поддерживает его из коробки, и с transformers-бэкендом он тоже работает. FlashAttention-4 даёт до 2.7x ускорения — включите флажок
—enable-flash-attn-4при запуске.
Вывод: если у вас есть GPU, вам нужна скорость, и вы не используете экзотические архитектуры — transformers-бэкенд vLLM станет вашим основным инструментом.
Грабли, на которые наступили мы (и вы, скорее всего, тоже)
На тестах вылезло пару подводных камней.
- Trust Remote Code — некоторые модели (например, из семейства Qwen3) содержат пользовательские слои в конфиге. vLLM требует флаг
—trust-remote-code. Забыли — получите ошибку. Лучше сразу добавьте в команду. - Несовместимость с AutoGPTQ — если вы квантовали модель через AutoGPTQ, transformers не сможет загрузить её напрямую. Придётся сначала конвертировать в формат vLLM (через
vllm convert). - Потребление VRAM — из-за того, что vLLM хранит дополнительную метаинформацию для PagedAttention, при одинаковой длине контекста transformers-бэкенд жрёт на 10-15% больше памяти, чем чистый vLLM. На H200 это незаметно, но на A100 с 80Gb может поджать.
Ещё один нюанс: если вы активно используете Transformers v5 с его изменениями API, vLLM пока адаптировался не полностью. Некоторые старые модели могут требовать trust_remote_code=True или специфических патчей. В целом не критично, но имейте в виду.
Как НЕ надо делать: вызывать vllm serve ... —backend transformers на модели, которая уже имеет нативный бэкенд (например, LLaMA-3). Просто уберите флаг — vLLM сам выберет оптимизированный путь. С трансформерс-бэкендом она будет работать, но чуть медленнее.
Кому это нужно в первую очередь
Трансформерс-бэкенд — спасение для тех, кто:
- Исследователи — вы можете быстро протестировать любую новую кастомную модель из HuggingFace, не дожидаясь её адаптации под vLLM. Достаточно одного флага.
- Инженеры продакшна — ускорение в 2x+ без изменения кода. Continuous batching и PagedAttention работают из коробки. Примерно то же самое даёт режим совместимости, который мы тестировали раньше, но теперь он стал нативным и более стабильным.
- Все, кто мучается с MoE — Mixture-of-Experts модели раньше были головной болью для vLLM. Теперь transformers-backend поддерживает динамическую загрузку экспертов, и Qwen3-72B работает без проблем. Для понимания: vLLM 0.14.0 уже заложила фундамент, но именно в 0.16.2 MoE-поддержка стала зрелой.
Не подойдёт, если вы используете квантование INT4/INT8 через библиотеки, не поддерживаемые vLLM (например, через bitsandbytes). В таком случае лучше оставаться на обычном transformers pipeline или смотреть в сторону DeepSeek-V3.2 на vLLM — там квантование встроено.
Думаю, трансформерс-бэкенд — это последний гвоздь в крышку гроба для TGI. HuggingFace, конечно, будет пилить что-то своё, но vLLM уже захватил нишу быстрого инференса. Следующий шаг — интеграция 1-битных моделей (условный Bankai уже работает, но vLLM пока не умеет). Если к концу года vLLM завезёт native поддержку Int1 — остальным движкам придётся совсем туго. А пока — обновляйтесь, ставьте флаг и наслаждайтесь ускорением. Только не забудьте про —trust-remote-code.
