Что такое Tyger и зачем она нужна голосовым агентам
Tyger - небольшая open-weights модель, которая управляет очерёдностью реплик в голосовых агентах. Транскрипцией речи она не занимается, голос не синтезирует. Её работа - решать, чей сейчас ход в разговоре: говорит ли пользователь, закончил ли он, перебивает ли агента. Такую задачу называют full-duplex turn-control, и до сих пор её обычно закрывали эвристиками поверх VAD, а не отдельной моделью.
Анонс опубликован 16 октября 2026 года в сообществе r/LocalLLaMA. Модель выбирает одно из трёх состояний каждые 80 мс и делает это без lookahead, то есть не заглядывая в будущие фрагменты аудио. Состояния называются answer, stop и chime in. Базовая модель - NVIDIA Nemotron 3.5 ASR Streaming 0.6B, поверх которой добавлен 14M causal GRU.
Вместе с Tyger идёт tyger-s2s под Apache-2.0. Это готовый голосовой агент на связке Tyger + Gemma 4 E4B FP8 + VoxCPM2 с поддержкой tool calls, до 4 одновременных разговоров и задержкой около 0.7 с на RTX 5090. Стек требует 28 ГБ VRAM, существует только в FP32, а другие GPU авторы не тестировали.
Чем Tyger отличается от VAD и обычного turn-taking
VAD работает на уровне акустики: сравнивает энергию сигнала с порогом и отдаёт бинарный ответ «речь или тишина». Он не различает паузу посреди фразы и паузу после законченной мысли, потому что для него это одинаковые промежутки тишины. Эвристики поверх VAD («300-800 мс тишины = конец реплики») приходится подбирать заново под каждый микрофон, уровень шума в помещении и манеру речи собеседника.
Tyger смотрит на поток аудио и каждые 80 мс заново определяет, что происходит с ходом разговора. Решение принимает отдельный слой causal GRU. Есть и второе отличие: модель слышит и микрофон, и собственное воспроизведение агента, поэтому агент не принимает своё эхо за голос пользователя. Коротко разницу в подходе можно сформулировать так: VAD отвечает на вопрос «есть ли в канале голос», Tyger - на вопрос «чей сейчас ход». Из этого не следует, что новая модель всегда выигрывает у VAD: она свежая, публичных потоковых бенчмарков нет, а тесты шли только на одной видеокарте.
Три состояния: answer, stop и chime in
Каждое состояние меняет поведение агента напрямую.
| Состояние | Что означает | Поведение агента |
|---|---|---|
| answer | пользователь закончил свою реплику | можно отвечать |
| stop | пользователь перебил | агент замолкает |
| chime in | агент подаёт короткую реплику | произносит «mm-hm» или «oh, really» и продолжает слушать |
chime in - самое интересное из трёх. Пока человек произносит длинный монолог, агент вставляет «mm-hm» или «oh, really» и остаётся в режиме слушателя. Живой собеседник ведёт себя так же, подтверждая, что слышит и не собирается отбирать инициативу.
Все решения принимаются без lookahead. Модель не ждёт, пока накопится буфер, чтобы оценить фразу целиком, и не может переиграть вывод задним числом. Для стриминга это принципиально: любая задержка на накопление буфера превращается в неловкую паузу в разговоре.
Как устроена Tyger: Nemotron 3.5 ASR Streaming 0.6B + 14M causal GRU
Архитектура собирается из двух частей. База - NVIDIA Nemotron 3.5 ASR Streaming 0.6B: основная масса параметров отвечает за потоковое представление речи. Сверху добавлен 14M causal GRU, лёгкий слой, который превращает это представление в решение о состоянии.
Разделение ролей практичное. ASR-часть уже умеет работать со стримингом и не требует нарезки аудио на отдельные фразы. GRU добавляет около 14 млн параметров, на два порядка меньше, чем у базы. Сама Tyger поэтому небольшая, и её вес не формирует основных требований к железу. 28 ГБ VRAM относятся к полному стеку tyger-s2s, а не к turn-control слою.
Почему causal GRU, а не трансформер
Causal GRU читает поток последовательно слева направо и не заглядывает вперёд. Такая схема естественно ложится на требование отсутствия lookahead и на шаг решения в 80 мс: скрытое состояние обновляется на каждом фрагменте, а вычисления остаются дешёвыми. Это инженерный компромисс в пользу задержки, а не доказательство того, что трансформер здесь не справился бы. Публичных деталей обучения и метрик качества в анонсе нет.
Зачем модели слышать собственное воспроизведение агента
В full-duplex сценарии агент говорит и слушает одновременно. Если модель слышит только микрофон, она ловит собственный голос из динамиков и легко принимает его за речь пользователя: агент перебивает сам себя или уходит в stop посреди собственного ответа. Tyger подают и микрофонный сигнал, и то, что агент воспроизводит, поэтому эхо не путается с вводом пользователя.
Это не отменяет акустическое эхо-подавление в аудиотракте, но снимает часть нагрузки с эвристик, где «свой голос» приходится отсекать отдельными правилами и порогами.
tyger-s2s: полный голосовой агент на Tyger + Gemma 4 E4B FP8 + VoxCPM2
Отдельно от самой модели выпущен tyger-s2s под лицензией Apache-2.0. Это полный голосовой агент из трёх компонентов: Tyger управляет очерёдностью реплик, Gemma 4 E4B FP8 генерирует ответ, VoxCPM2 синтезирует голос.
Из коробки заявлены поддержка tool calls и до 4 одновременных разговоров. Задержка ответа составляет около 0.7 с на RTX 5090 и измеряется от конца речи пользователя до первого аудио. Стек требует 28 ГБ VRAM.
Что даёт Apache-2.0 на практике
Apache-2.0 - permissive-лицензия: она разрешает коммерческое использование, модификацию и распространение при сохранении уведомлений об авторстве и текста лицензии. Для продукта это удобнее copyleft-схем, где производные работы приходится открывать. Одна оговорка: в анонсе лицензия указана для tyger-s2s, а лицензии Gemma 4 E4B FP8 и VoxCPM2 нужно проверять отдельно, прежде чем встраивать стек в коммерческий продукт. Юридических гарантий здесь никто не даёт, это просто чтение лицензионных файлов перед релизом.
Локальный режим и хостинговый «эксперт» OpenAI
В стеке есть опциональный хостинговый «эксперт» на стороне OpenAI. По умолчанию он отключён. Пока эксперт выключен, всё работает локально, и ни аудио, ни текст не покидают машину. При включении эксперта аудио или текст могут уходить наружу; в анонсе не уточняется, какие именно фрагменты и в каком объёме передаются. Для задач с чувствительными данными логичный режим - оставить эксперта выключенным и не подключать его вообще.
Требования к железу: 28 ГБ VRAM, RTX 5090 и задержка 0.7 с
Ключевая цифра для оценки железа - 28 ГБ VRAM на стек tyger-s2s. Тестирование проходило на RTX 5090. На ней задержка ответа составляет около 0.7 с от конца речи пользователя до первого аудио, и стек держит до 4 одновременных разговоров.
Доступна только FP32-версия. Квантизацию авторы не тестировали, поэтому 28 ГБ VRAM - актуальное требование на сегодня, а не перестраховка с запасом.
Потянет ли RTX 3090 или 4090
У 3090 и 4090 по 24 ГБ VRAM, и это меньше 28 ГБ, которые нужны стеку. Без квантизации такой объём не помещается, а квантизация не проверена. Прямых данных о запуске на этих картах нет: в анонсе сказано, что тестировали только 5090, а отчёты по 3090 и 4090 авторы приглашают присылать. Обещать работу на 24 ГБ оснований нет, честнее считать 3000-ю и 4000-ю серии непроверенной территорией.
Если видеопамяти в дефиците, полезно заранее понять, как ведут себя модели при жёстком лимите: разбор реальных бенчмарков Qwen на RTX 3050 Ti с 4 ГБ VRAM показывает, что скорость генерации падает не линейно, а обвалом, когда модель перестаёт влезать в память.
Откуда берётся 0.7 с и что на неё влияет
Задержка 0.7 с - суммарный путь от момента, когда пользователь закончил говорить, до первого звука ответа. Внутри три этапа: Tyger фиксирует состояние answer, Gemma 4 E4B FP8 генерирует текст, VoxCPM2 синтезирует первую порцию аудио. Разбивку по компонентам в анонсе не приводят, поэтому назвать вклад каждого этапа по отдельности нельзя.
Цифра привязана к конкретной конфигурации: RTX 5090 и FP32-версия. На другой видеокарте и при другой нагрузке она изменится. Когда разговоров несколько, вычисления делятся между ними, и это тоже влияет на отзывчивость.
Ограничения Tyger и tyger-s2s: что пока не проверено
Список короткий, зато конкретный.
- Только FP32, квантизация не тестировалась.
- Бенчмарки пока офлайн.
- Тестирование только на RTX 5090, другие GPU не проверялись.
- Стек требует 28 ГБ VRAM.
- Хостинговый «эксперт» OpenAI по умолчанию отключён, но при включении аудио или текст могут покидать машину.
FP32 only и отсутствие проверенной квантизации
Квантизация - самый очевидный способ ужать стек до 24 ГБ и меньше. В случае Tyger этот путь не проверен: доступна только FP32-версия. Это не значит, что сжать модель невозможно в принципе, просто никто не подтверждал, что после квантизации turn-control сохранит качество решений. Для состояний answer, stop и chime in цена ошибки высокая: агент либо влезет в середину фразы, либо промолчит, когда пользователь уже закончил.
Офлайн-бенчмарки и отсутствие данных по другим GPU
Бенчмарки пока только офлайн. Офлайн-прогон не воспроизводит главное: непрерывный поток, наложение речи агента и пользователя, перебивание и эхо. Именно на этих сценариях turn-control и проверяется, поэтому офлайн-цифры нельзя переносить на продакшн. Вторая дыра - железо: кроме RTX 5090 данных нет, и как стек поведёт себя на картах с 24 ГБ VRAM, неизвестно.
Кому подходит Tyger и какие сценарии она закрывает
Основные сценарии: голосовые ассистенты, где важно естественное перебивание; локальные агенты с tool calls; системы, в которых аудио нельзя отправлять в облако. Во всех трёх случаях выигрыш даёт корректная работа с паузами и перебиванием, а не качество распознавания или синтеза.
Когда Tyger даёт выигрыш по сравнению с VAD
Три типовые ситуации. Пользователь делает паузу, чтобы подумать, а VAD уже обрывает агента и начинает отвечать невпопад. Пользователь перебивает, а агент продолжает говорить, потому что не заметил ввода. Нужно естественное «mm-hm» во время длинного монолога, чтобы собеседник чувствовал обратную связь. Каждая ситуация ложится на отдельное состояние: answer, stop и chime in соответственно.
Ждать, что Tyger решит все проблемы turn-taking, не стоит. Модель новая, публичных замеров в потоковом режиме с перебиванием и эхом пока нет.
Когда Tyger пока не лучший выбор
Если у вас меньше 28 ГБ VRAM, если нужна квантизация ради экономии памяти, если требуются проверенные продакшн-бенчмарки, если ваша GPU отличается от RTX 5090 и вы не готовы быть первым, кто её проверяет. В этих случаях разумнее подождать отчётов сообщества или выбрать решение, которое уже обкатано на вашем железе.
Что делать дальше: как подойти к запуску tyger-s2s
Перед скачиванием стоит пройтись по короткому списку и честно ответить себе на каждый пункт.
Чек-лист перед запуском
- Есть ли 28 ГБ VRAM. Это требование для FP32-версии стека.
- Готовы ли вы работать без квантизации. Альтернативы авторы не проверяли.
- Нужен ли хостинговый «эксперт» OpenAI. По умолчанию он отключён, и без него всё работает локально.
- Учли ли вы, что тестирование шло только на RTX 5090, а задержка 0.7 с измерена именно на ней.
- Понимаете ли вы, что бенчмарки офлайн и продакшн-метрик пока нет.
Куда сообщать о результатах на 3090/4090
Авторы приглашают присылать отчёты о работе на 3090 и 4090, а сам анонс вышел в r/LocalLLaMA. Это и есть основной канал обратной связи: если стек заработает на 24 ГБ VRAM с квантизацией или без неё, именно отчёты сообщества покажут, насколько реальны такие конфигурации. Пока же 28 ГБ VRAM, FP32 и RTX 5090 остаются официальной границей проверенного.