Перейти к содержанию
Публикация AiManual

Nemotron-Labs-Sigma от NVIDIA: как работает диффузионная языковая модель на 8B параметров

NVIDIA открыла веса Nemotron-Labs-Sigma: диффузионные LLM на 8B и 3B параметров, которые генерируют текст блоками, удаляя шум в непрерывном пространстве эмбедди

Коротко

Что будет в материале

  1. 01

    Что такое Nemotron-Labs-Sigma и почему это не обычная LLM

  2. 02

    Как диффузионная LLM генерирует текст: денойзинг вместо предсказания следующего токена

  3. 03

    Чем Nemotron-Labs-Sigma отличается от авторегрессии и masked-диффузии

  4. 04

    Как запустить Nemotron-Labs-Sigma локально

NVIDIA выложила на Hugging Face семейство Nemotron-Labs-Sigma: диффузионные языковые модели на 8 и 3 млрд параметров, каждая в base- и instruct-исполнении. Генерация здесь устроена иначе, чем у привычных LLM. Модель не предсказывает следующий токен, а удаляет гауссов шум в 16-мерном непрерывном пространстве токенных эмбеддингов и выдаёт готовый блок текста за несколько проходов.

Денойзер и токенные эмбеддинги обучались совместно через максимизацию правдоподобия. Текст декодируется параллельными блоками: каждый блок уточняется заданным числом шагов денойзинга, а уже зафиксированные токены переиспользуются через стандартный KV-кэш. Меньшее число шагов ускоряет генерацию ценой небольшого падения качества.

В семействе четыре чекпойнта: Nemotron-Labs-Sigma-8B, Nemotron-Labs-Sigma-8B-instruct, Nemotron-Labs-Sigma-3B и Nemotron-Labs-Sigma-3B-instruct. Instruct-варианты получены дообучением на следование инструкциям поверх соответствующей base-модели. NVIDIA разрешает коммерческое и некоммерческое использование, а точность рассуждений 8B-модели в карточке описана как конкурентная современным masked (дискретным) диффузионным языковым моделям, без конкретных цифр и бенчмарков (карточка модели и обсуждение).

Что такое Nemotron-Labs-Sigma и почему это не обычная LLM

Ключевое отличие лежит в пространстве, где идёт работа. Обычная LLM на каждом шаге выбирает один дискретный токен из словаря. Nemotron-Labs-Sigma оперирует низкоразмерными непрерывными векторами и постепенно очищает их от шума, пока представление не станет достаточно однозначным, чтобы спроецировать его обратно в токены.

Второе отличие в порядке генерации. Авторегрессионная модель порождает текст строго последовательно, а здесь блок токенов уточняется параллельно, итерация за итерацией. Длина ответа перестаёт напрямую умножаться на число последовательных проходов модели.

Состав семейства: 8B и 3B в base- и instruct-вариантах

Под брендом nvidia на Hugging Face лежат четыре набора весов. Nemotron-Labs-Sigma-8B и Nemotron-Labs-Sigma-3B - базовые модели, обученные на предсказание текста. Nemotron-Labs-Sigma-8B-instruct и Nemotron-Labs-Sigma-3B-instruct - SFT-версии, дообученные на следование инструкциям поверх соответствующих base-моделей.

Практическая разница для пользователя простая. Base-вариант удобен для дообучения и экспериментов с собственным шаблоном диалога, instruct-вариант готов отвечать на запросы из коробки, но требует форматирования сообщений встроенным шаблоном chat_template.jinja. Трёхаргументные версии повторяют тот же подход в меньшем масштабе, отдельной архитектуры за ними нет. Деталей по 3B-моделям в карточке мало: там перечислены сами чекпойнты, а поведение и качество младших вариантов подробно не раскрыты.

Ключевые характеристики в одном месте

  • Параметры: 8B и 3B, каждый размер в base- и instruct-исполнении.
  • Максимальный контекст: 8192 токена суммарно, промпт плюс сгенерированные токены.
  • Язык: только английский.
  • Загрузка: стандартный transformers с trust_remote_code.
  • Инференс: чистый PyTorch, кастомные ядра, flash-attention и тренировочный фреймворк не нужны.
  • Сэмплеры: DDPM или DDIM с self-conditioning и опциональным classifier-free guidance.
  • Размер блока по умолчанию: 64 токена.
  • Стоимость генерации: NFE = steps + 1 на каждый блок.
  • Архитектура: decoder-only Transformer в стиле Ministral с grouped-query attention, SwiGLU и rotary position embeddings, плюс голова непрерывной диффузии.

Как диффузионная LLM генерирует текст: денойзинг вместо предсказания следующего токена

Пайплайн без формул выглядит так. На старте берётся гауссов шум в 16-мерном непрерывном пространстве токенных эмбеддингов. Денойзер, голова непрерывной диффузии поверх decoder-only Transformer, итеративно предсказывает очищенное представление для позиций текущего блока. После нужного числа шагов непрерывные векторы проецируются обратно в токены, блок фиксируется, и модель переходит к следующему.

Денойзер и токенные эмбеддинги обучались совместно через максимизацию правдоподобия. Диффузионный сэмплер здесь не прикручен к готовой авторегрессионной сети: модель изначально обучалась именно в такой постановке, и непрерывное представление токенов выучено вместе с сетью (по описанию авторов).

16-мерное непрерывное пространство эмбеддингов: что это даёт

Модель работает не с дискретными токенами напрямую, а с их сжатыми непрерывными представлениями размерности 16. Такое пространство гладкое: близкие точки дают близкие по смыслу результаты, и денойзеру проще вести траекторию к осмысленному ответу, чем прыгать между несвязанными дискретными состояниями словаря.

Из гладкости следует вполне практичное свойство. Такую модель можно дистиллировать в few-step режим, то есть обучить проходить путь от шума до текста за очень малое число шагов, и управлять траекторией генерации (trajectory steering). Оба направления в карточке указаны как свойство подхода, готовых кнопок для них в репозитории не обещано, и выигрыш в цифрах там не приводится.

Блочное декодирование и KV-кэш

Текст генерируется параллельными блоками, по умолчанию по 64 токена. Каждый блок уточняется за настраиваемое число шагов денойзинга. Зафиксированные токены переиспользуются через стандартный key-value кэш, поэтому при генерации следующего блока предыдущий контекст не пересчитывается с нуля. Без этого механизма блочная схема была бы слишком дорогой на длинных ответах: каждый блок требовал бы прогонять весь префикс заново.

DDPM, DDIM, self-conditioning и classifier-free guidance

DDPM (Denoising Diffusion Probabilistic Model) и DDIM (Denoising Diffusion Implicit Model) - два способа пройти путь от шума к чистому представлению. Оба сэмплера написаны на чистом PyTorch прямо в репозитории, специальных сборок они не требуют. DDPM работает со стохастической компонентой на каждом шаге, DDIM даёт более детерминированную траекторию и обычно позволяет сокращать число шагов.

Self-conditioning означает, что на очередном шаге модель дополнительно опирается на собственное предсказание с предыдущего шага. Это дешёвый способ поднять качество без роста числа проходов. Classifier-free guidance - опциональный параметр, который усиливает следование промпту за счёт разнообразия ответов.

Для старта хватает трёх ручек: число шагов, размер блока и, при необходимости, guidance. Выбор между DDPM и DDIM на первом этапе вторичен, к нему имеет смысл возвращаться, когда уже понятны базовые настройки под вашу задачу.

Чем Nemotron-Labs-Sigma отличается от авторегрессии и masked-диффузии

Ось сравненияАвторегрессияMasked-диффузияNemotron-Labs-Sigma
Порядок генерацииТокен за токеном, слева направоПараллельное уточнение маскированных участковПараллельные блоки по 64 токена, каждый уточняется итерациями
Пространство работыДискретные токеныДискретные токены с маскированиемНепрерывные 16-мерные эмбеддинги
СтоимостьПримерно один проход на токенЗависит от числа шагов и стратегии маскированияNFE = steps + 1 на блок
ГибкостьЗрелая экосистема квантизаций, серверов, тулингаАктивно исследуемое направлениеFew-step дистилляция и управление траекторией на уровне подхода

Против авторегрессии: где параллельность помогает, а где нет

Выигрыш от блочной схемы проявляется на длинных ответах: число последовательных проходов привязано к числу шагов на блок, а не к числу токенов напрямую. Малое число шагов даёт заметное ускорение при небольшой потере качества, и это единственная количественная формулировка, которую даёт карточка модели. Утверждать, что диффузионная LLM быстрее авторегрессионной в абсолюте, по этим данным нельзя.

Обратная сторона тоже конкретна. Вокруг авторегрессионных моделей накоплен огромный набор квантизаций, инференс-серверов и готовых пайплайнов, у диффузионных LLM такого окружения пока нет. Добавьте ограничение по языку и контекст 8192 токена, и станет понятно, что менять рабочий стек целиком ради этой модели причин мало.

Против masked-диффузии: непрерывное пространство как главное отличие

Masked-диффузия, к которой относится, например, семейство LLaDA, работает в дискретном пространстве токенов: часть позиций закрывается маской, модель их восстанавливает. Nemotron-Labs-Sigma вместо масок удаляет гауссов шум в непрерывных эмбеддингах. Практическое следствие, заявленное в карточке: гладкое непрерывное представление упрощает дистилляцию в few-step режим и управление траекторией генерации.

По точности рассуждений 8B-версия описана как конкурентная современным masked-диффузионным моделям. Это значит, что перед нами не лабораторный прототип, а сопоставимый класс. Конкретных бенчмарков и цифр в источнике нет, поэтому любые сравнения по качеству с авторегрессионными моделями того же размера придётся делать самостоятельно.

Как запустить Nemotron-Labs-Sigma локально

Порог входа у модели низкий по меркам экзотических архитектур. Веса грузятся стандартным transformers через trust_remote_code, инференс идёт на чистом PyTorch. Кастомные CUDA-ядра, flash-attention и тренировочный фреймворк для генерации не требуются, отдельная сборка тоже.

Минимальный пример кода на transformers

Ниже скелет, который показывает порядок действий. Имена аргументов для числа шагов, размера блока, сэмплера и guidance сверяйте с карточкой модели: в репозитории они вынесены в сэмплеры, и вызываются через параметры генерации.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "nvidia/Nemotron-Labs-Sigma-8B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    device_map="auto",
)

messages = [{"role": "user", "content": "Explain KV-cache in two sentences."}]
prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# параметры денойзинга (steps, block size, sampler, guidance)
# передаются согласно карточке модели
output = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[-1]:],
                       skip_special_tokens=True))

Промпты пишите на английском. Поддерживаемый язык у модели один, и русский запрос даст плохой результат не из-за настроек, а из-за отсутствия соответствующего обучения. Для русскоязычных сценариев модель годится как промежуточное звено: обработка англоязычных данных, генерация черновиков на английском, эксперименты с сэмплированием.

Что понадобится из окружения

Нужны transformers, PyTorch и сами веса. Всё остальное опционально. Если VRAM впритык, начинайте с 3B-варианта: он даёт тот же интерфейс и ту же механику денойзинга при меньшем объёме весов. Точные требования по памяти и скорость генерации зависят от вашей карты, выбранного типа данных и числа шагов, поэтому ориентируйтесь на замеры на своём железе.

Как соотносятся формат весов, квантизация и реальная скорость на потребительских картах, мы разбирали отдельно в материале о локальных моделях, квантизациях и движках под кодинг и агентов: логика выбора между GGUF и EXL3 и замеры pp/decode там же.

Настройка числа шагов и размера блока: практический компромисс

Две главные ручки производительности - число шагов денойзинга на блок и размер самого блока. Первая задаёт, сколько раз модель прогонит блок через денойзер, вторая определяет, сколько токенов уточняется за один такой прогон.

Скорость против качества: как выбрать число шагов

Стоимость считается прямо: NFE = steps + 1 на каждый блок. Один шаг даёт один вызов модели, поэтому снижение числа шагов с 16 до 8 примерно вдвое сокращает вычисления на блок. В карточке сказано, что качество сэмплирования хорошо сохраняется вплоть до малого числа шагов, а меньшее число шагов меняет немного качества на большой выигрыш в скорости.

Отсюда рабочая логика. Для черновиков, коротких ответов в чате и интерактивных сценариев шаги имеет смысл снижать агрессивно и смотреть, где ответ начинает разваливаться. Для задач рассуждения, извлечения фактов и генерации кода оставляйте больше шагов. Точную границу падения качества придётся искать на своих промптах: в источнике дана только качественная оценка, без таблиц метрик по числу шагов.

Размер блока: когда менять дефолтные 64 токена

Блок задаёт степень параллелизма. Меньший блок даёт более гранулярную генерацию и лучший контроль над стыками между блоками, но добавляет последовательных итераций и накладных расходов. Больший блок усиливает параллелизм на один шаг денойзинга, зато увеличивает объём вычислений за проход и может ухудшить связность текста на границах.

Порядок подбора простой: сначала настройте число шагов под задачу, затем проверьте, меняется ли результат от изменения размера блока. Трогать оба параметра одновременно не стоит, иначе непонятно, что дало эффект. Дефолтные 64 токена - разумная стартовая точка почти для всех сценариев.

Few-step дистилляция и управление траекторией: что это сулит

Гладкое непрерывное представление делает модель пригодной для few-step дистилляции, то есть обучения проходить путь от шума к тексту за минимальное число шагов, и для trajectory steering - управления тем, как именно генерация движется к ответу. Оба пункта в карточке заявлены как свойство подхода. Готовых скриптов, обученных few-step чекпойнтов и описанных методов управления в репозитории нет, так что воспринимайте это как направление развития, а не как доступную функцию.

Ограничения Nemotron-Labs-Sigma, о которых стоит знать заранее

Список короткий и жёсткий. Модель работает только с английским. Контекст ограничен 8192 токенами суммарно, включая промпт и всю сгенерированную часть. Качество зависит от настроек сэмплирования, и дефолты не гарантируют оптимум под вашу задачу. Instruct-вариант требует встроенного chat-шаблона: без него диалог развалится.

Только английский и контекст 8192

Supported language в карточке указан как English, и это надо планировать заранее. Русскоязычный сценарий с этой моделью не построить: она подойдёт для обработки английских текстов, перевода черновиков и экспериментов, но не как основной русскоязычный ассистент.

Второе ограничение чаще всего понимают неправильно. 8192 токена - это суммарный лимит на промпт плюс генерацию, а не отдельный запас на ответ. Если в промпте 7000 токенов, на ответ останется около 1200. Длинные диалоги придётся либо сокращать, либо разбивать на отдельные запросы.

Зрелость экосистемы и чего пока нет

Диффузионные LLM только набирают инструментарий, который у авторегрессионных моделей уже есть. Это касается готовых квантизаций, инференс-серверов с батчингом и оптимизированных ядер. Плюс в другом: запуск через стандартный transformers без специальных сборок снижает барьер и позволяет проверить идею на обычном PyTorch, не разбираясь с экзотическими зависимостями (смотрите карточку модели).

Про готовые интеграции с конкретными движками и форматами квантизации источник молчит. Планируя продакшен, исходите из того, что обвязку, возможно, придётся писать самому.

Кому стоит пробовать Nemotron-Labs-Sigma, а кому подождать

Модель имеет смысл ставить, если вам интересна сама механика диффузионной генерации: покрутить число шагов, посмотреть, как ведёт себя блочное декодирование, оценить NFE на реальных промптах и сравнить с авторегрессионной моделью того же размера на английских задачах. Открытые веса и коммерческая лицензия это позволяют, а запуск на чистом PyTorch не требует отдельной инфраструктуры.

Ждать стоит, если нужен русский язык, контекст заметно длиннее 8192 токенов, зрелые квантизации или готовая серверная обвязка под нагрузку. Здесь диффузионная модель пока проигрывает не качеством, а окружением.

Быстрый чек-лист перед установкой:

  • Пробовать: нужны английские тексты, интересны few-step режимы и эксперименты с сэмплерами, есть время сравнивать настройки на своих данных.
  • Пробовать: хотите firsthand понять, как устроена непрерывная диффузия в LLM, и не боитесь читать карточку модели.
  • Подождать: русскоязычный продукт, длинные документы, продакшен с требованиями к стабильности.
  • Подождать: нужны готовые квантизации и поддержка в популярных инференс-движках.

Итог без хайпа: NVIDIA выложила открытые веса диффузионной LLM, точность рассуждений которой заявлена на уровне современных masked-диффузионных моделей. Это хороший повод поставить модель локально и потрогать параметры денойзинга руками. Переписывать рабочий продакшен на диффузионную генерацию пока рано.

Подписаться на канал