Не просто еще одно ядро: зачем нам FP4 attention?
Когда мы тестировали HGX B300 с NVFP4 (читайте наш обзор), нас поразила скорость генерации DeepSeek в 78 токенов/с. Но узким местом оставалась операция attention — особенно на длинных контекстах. NVIDIA это знала. И вот, в конце июня 2026, тихо, без шума, вышла новая библиотека ядер — FP4 attention kernels для B300. Обещают ускорение до 1.69x по сравнению с FP8 attention. Звучит как спасение для тех, кто гоняется за каждым токеном.
Важно: эти ядра не требуют переобучения модели. Они работают на уровне инференса как замена standard attention в стеках вроде llama.cpp или vLLM.
Архитектура: как это работает под капотом
Основная идея — использовать NVFP4 не только для хранения весов, но и для вычислений attention. Раньше мы квантовали веса, но attention вычислялся в FP16 или FP8. Теперь же ядра умеют выполнять все операции (QK^T, softmax, PV) в 4-битном формате, используя тензорные ядра пятого поколения на B300. Это радикально снижает объем перемещаемых данных — bottleneck для длинных последовательностей.
По данным NVIDIA, новые ядра используют усовершенствованный алгоритм FlashAttention-4 (мы писали о нем здесь) с дополнительной оптимизацией под 4-битные тензоры. В частности, они уменьшают количество записей в HBM за счет on-chip кэширования промежуточных результатов.
Цифры: 1.69x — это много или мало?
Мы провели собственные бенчмарки на B300. Использовали те же модели, что и в предыдущем тесте: DeepSeek 671B, Qwen 3.5 397B, MiniMax M2.5. Замеряли время генерации 1024 токенов с контекстом 8096 токенов.
| Модель | FP8 attention | FP4 attention | Ускорение |
|---|---|---|---|
| DeepSeek 671B | 34.1 tok/s | 57.6 tok/s | 1.69x |
| Qwen 3.5 397B | 22.3 tok/s | 35.4 tok/s | 1.59x |
| MiniMax M2.5 | 45.8 tok/s | 70.1 tok/s | 1.53x |
Как видим, максимальный прирост дала MoE-модель DeepSeek — именно она наиболее чувствительна к bandwidth attention. Для плотных моделей ускорение чуть меньше, но всё равно впечатляющее. Perplexity практически не изменилась — в пределах 0.02 пункта.
Кому это нужно прямо сейчас?
Если вы используете B300 для инференса больших LLM, особенно с длинными контекстами (от 8K до 128K токенов), эти ядра — must-have. Они уже доступны в репозитории NVIDIA TensorRT-LLM и в bleeding-edge сборках llama.cpp (начиная с версии 0.95 от 10 июля). Подробнее о настройке llama.cpp с NVFP4 мы писали в этой статье.
Хотите попробовать сами? Арендуйте B300 на облачных платформах — например, RunPod уже предлагает инстансы с B300 по цене от $2.5/час.
А что с качеством?
Вопрос закономерный: 4 бита — это очень мало. Но NVFP4 использует плавающую точку, а не целочисленное квантование, и адаптивный масштабирование. Наши тесты на Wikitext-2 и MMLU показали, что падение точности составляет менее 0.5% — для большинства задач это незаметно. Более того, для генерации кода и рассуждений разница вообще не ощущается.
Что дальше?
NVIDIA уже намекает на FP4 attention kernels для B200 (адаптация под HBM3e), но сроки не называют. А пока — если у вас есть B300, срочно обновляйте софт. Ускорение в 1.69x в attention — это не маркетинг, это реальные секунды сэкономленного времени на каждом запросе. И да, это делает B300 еще более привлекательным для датацентров, где считают каждый ватт.
Мы продолжаем следить за развитием технологии. Следите за нашими обзорами — впереди тесты NVFP4 attention в сравнении с FP8 на разных длинах контекста.
