В audio.cpp 0.9.5 появилась экспериментальная app для голосового чата с аватаром, открывается она через WebUI. Пользователь говорит в микрофон, система распознаёт речь, генерирует ответ, озвучивает его и показывает говорящую голову, которая артикулирует этот ответ. Всё считается локально.
Под капотом три модели. SoulX-FlashHead генерирует говорящую голову в реальном времени, OWSM v4 переводит входящую речь в текст, LFM3-Audio формирует разговорный ответ и синтезирует речь. LFM3-Audio при этом вызывается дважды: путь speech-to-speech даёт только один голос, поэтому ответ дополнительно озвучивается через TTS другим голосом.
Ориентиры по железу и скорости: на RTX 5090 от отправки вопроса до начала речи аватара проходит около 850 мс, ASR работает параллельно с остальной обработкой. Для SoulX рекомендуется RTX 4090 или мощнее, а cuDNN обязателен: без него инференс вдвое медленнее и требует вдвое больше VRAM. Ниже устройство пайплайна, цена двойного вызова LFM3-Audio, требования к железу и реальная задержка.
Что нового в audio.cpp 0.9.5: аватар-чат прямо в WebUI
Что такое «app» в терминах audio.cpp
«App» здесь означает режим внутри audio.cpp, а не отдельный бинарник или самостоятельный сервис. Открывается он из того же WebUI, через который управляют остальными возможностями проекта: выбираете нужную app, запускаете её в браузере и говорите в микрофон. Ставить второй продукт не нужно. Готового сценария установки «в пару кликов» в описании релиза в r/LocalLLaMA нет: конкретные шаги зависят от вашей сборки audio.cpp и версии WebUI.
Статус у режима экспериментальный. На практике это значит: прототипный интерфейс, часть накладных расходов по задержке идёт именно от UI, поведение между сборками может отличаться. Относиться к нему стоит как к полигону, где проверяют, как звучит и выглядит локальный аватар-чат, а не как к продукту с гарантированным временем отклика.
Кому это интересно и чего ждать от экспериментальной сборки
Аудитория узкая: владельцы RTX 4090, RTX 5090 и сопоставимых карт, энтузиасты локального аудио и те, кто собирает собственные голосовые пайплайны. С 12 или 16 ГБ VRAM эта конкретная связка в реальном времени вряд ли поедет: генерация видео остаётся самым прожорливым этапом. Что реально запускается на 12, 16 и 24 ГБ, разобрано в отдельном материале про voice-to-voice модели.
Чего ждать не стоит: предсказуемой задержки, отполированного интерфейса и стабильности между версиями. Двойной вызов LFM3-Audio и прототипный UI прямо названы источниками накладных расходов. Честная формулировка звучит так: работает, но медленнее, чем могло бы.
- стоит пробовать, если у вас RTX 4090 или мощнее, есть опыт запуска локальных моделей и интерес к аудио-визуальным пайплайнам;
- не стоит, если нужен голосовой ассистент с предсказуемым откликом на слабом железе или готовое решение без настройки.
Архитектура пайплайна: три модели и их роли
Схема в общем виде: голос, текст, ответ, речь, видео. Каждый переход обслуживает отдельная модель, и это удобно для диагностики задержки: узкое место может сидеть в любом звене.
| Этап | Модель | Что делает | Особенность |
|---|---|---|---|
| ASR | OWSM v4 | Переводит входящую речь в текст | работает параллельно |
| Ответ и TTS | LFM3-Audio | Формирует разговорный ответ, синтезирует речь | вызывается дважды |
| Видео | SoulX-FlashHead | Генерирует говорящую голову в реальном времени | самый требовательный к GPU этап |
OWSM v4: распознавание речи на входе
OWSM v4 закрывает ASR: превращает поток речи в текст, с которым дальше работает разговорная модель. Отдельная ASR-модель вместо встроенного в аудиомодель распознавания даёт предсказуемое звено, которое можно менять и отлаживать независимо от остальных.
ASR работает параллельно с другими этапами. Для пользователя это означает, что распознавание не выстраивается в длинную последовательную цепочку, но и из бюджета задержки не исчезает. Качество распознавания на именах, терминах и цифрах остаётся типичной слабой точкой локальных голосовых пайплайнов: почему это до сих пор барьер, разобрано в материале о том, чего не хватает голосовым ассистентам.
LFM3-Audio: ответ и синтез речи
LFM3-Audio делает две вещи: формирует разговорный ответ и синтезирует речь. В этой сборке модель вызывается дважды, и второй вызов нужен именно для озвучки другим голосом. Размер модели, квантизация и прочие параметры в описании релиза не раскрываются, поэтому оценивать её стоит по роли в пайплайне, а не по цифрам, которых нет.
SoulX-FlashHead: говорящая голова в реальном времени
SoulX-FlashHead отвечает за видео: генерирует говорящую голову в реальном времени. Этот этап задаёт нижнюю границу по железу. Для SoulX рекомендуется RTX 4090 или мощнее; на картах слабее real-time по видео, скорее всего, разваливается, а без cuDNN разваливается даже на подходящей.
Почему LFM3-Audio вызывается дважды и как это влияет на задержку
Ограничение speech-to-speech: один голос
Путь speech-to-speech в текущей реализации даёт только один голос. Если нужен ответ, озвученный другим голосом, его приходится синтезировать отдельно, через TTS LFM3-Audio. Отсюда второй вызов модели. Это архитектурное ограничение текущей сборки, а не забытый баг: так устроен обход ограничения на один голос в S2S-ветке.
Практический смысл двойного вызова в том, что система получает два разных голоса в одном диалоге. Плата за это - дополнительный проход через аудиомодель на каждый ответ.
Что это значит для отзывчивости
Двойной вызов добавляет задержку. Измерить его вклад по открытым данным нельзя: в описании нет разбивки по компонентам, есть только итоговые ~850 мс на RTX 5090. Двойной вызов LFM3-Audio прямо назван одним из мест, которые можно оптимизировать. Подтверждений, что это уже сделано, нет.
Требования к железу: GPU, VRAM и обязательный cuDNN
Почему без cuDNN real-time не получится
Без cuDNN инференс вдвое медленнее и требует вдвое больше VRAM.
Для пайплайна, который целится в реальное время, это разница между рабочей демонстрацией и слайд-шоу. Модели, которые помещались в память, перестают помещаться, а задержка выходит за пределы разумного. Вывод простой: проверьте cuDNN до запуска app, иначе будете отлаживать не тот слой. Точные значения VRAM для всей связки в описании не приводятся, поэтому «влезет или нет» придётся считать по факту на своей конфигурации.
RTX 4090 как минимум и RTX 5090 как ориентир по задержке
Для SoulX рекомендуется RTX 4090 или мощнее. RTX 5090 в источнике фигурирует как карта, на которой замерили около 850 мс от отправки вопроса до начала речи аватара. Экстраполировать эту цифру на другие GPU нельзя: у RTX 4090 другая производительность и другая пропускная способность памяти, а замер для неё в описании не приводится.
Задержка на практике: что такое ~850 мс на RTX 5090
Эта цифра означает время от отправки вопроса до момента, когда аватар начинает говорить. Речь о старте речи, а не о полном отрисованном ответе. Метрика измерена на RTX 5090 и включает накладные расходы прототипного интерфейса и двойного вызова LFM3-Audio.
Из чего складывается задержка
- ASR на OWSM v4, работает параллельно;
- первый вызов LFM3-Audio: формирование разговорного ответа;
- второй вызов LFM3-Audio: TTS другим голосом;
- генерация видео SoulX-FlashHead до первого кадра;
- накладные расходы прототипного UI.
Точных долей источник не даёт. Известно, что двойной вызов и UI названы источниками накладных расходов, а ASR идёт параллельно. Любая разбивка по процентам в такой ситуации будет догадкой.
Что цифра говорит о потенциале технологии
850 мс на старте речи уже похоже на живой диалог: пауза заметна, но разговор не ломает. Нативное приложение с более оптимизированной реализацией могло бы снизить задержку дополнительно. Это оценка из описания релиза, без сроков и подтверждённого результата в миллисекундах. Пока речь о прототипе, который показывает реализуемость связки, а не о продукте с предсказуемым временем отклика.
Стоит ли запускать сейчас: ограничения и перспективы
Кому подойдёт экспериментальная app
Техническим пользователям с RTX 4090 или RTX 5090, кто уже запускал локальные модели и готов разбираться с cuDNN, сборкой и прототипным интерфейсом. Если задача - увидеть, как выглядит локальный аватар-чат и где у него пределы, версия 0.9.5 даёт такую возможность без написания пайплайна с нуля.
Если нужен стабильный ассистент с предсказуемой задержкой, эта связка не подходит. Для таких сценариев есть более скромные по железу архитектуры: например, офлайн-ассистент на Python с Gemma 3, Vosk, Faster-whisper и Silero, разобранный в отдельном материале. Говорящую голову он не рисует, зато предсказуемо работает на куда меньших GPU.
Что оптимизируют дальше
Два названных направления: убрать двойной вызов LFM3-Audio и уйти от прототипного UI к нативному приложению. Оба пункта обозначены в тексте релиза как пространство для оптимизации. Сроков и ожидаемого выигрыша в миллисекундах там нет, так что планировать что-то на основе этих планов рано.
По сравнению с другими локальными голосовыми сборками audio.cpp 0.9.5 выделяется именно видеозвеном: большинство офлайн-ассистентов ограничиваются ASR, LLM и TTS. Плата за аватар - требования к GPU и задержка, которая пока держится в районе 850 мс только на топовой карте.
Если решите пробовать, порядок такой: проверьте cuDNN, зафиксируйте версию сборки, измерьте собственную задержку от отправки вопроса до старта речи. Ориентир в 850 мс получен на RTX 5090 и на другой карте ничего не гарантирует.