Перейти к содержанию
Публикация AiManual

Локальный аватар-чат в реальном времени: как audio.cpp 0.9.5 объединяет SoulX-FlashHead, OWSM v4 и LFM3-Audio

В audio.cpp 0.9.5 появилась экспериментальная app для голосового чата с аватаром прямо в WebUI. Разбираем, как SoulX-FlashHead, OWSM v4 и LFM3-Audio собираются

Коротко

Что будет в материале

  1. 01

    Что нового в audio.cpp 0.9.5: аватар-чат прямо в WebUI

  2. 02

    Архитектура пайплайна: три модели и их роли

  3. 03

    Почему LFM3-Audio вызывается дважды и как это влияет на задержку

  4. 04

    Требования к железу: GPU, VRAM и обязательный cuDNN

В audio.cpp 0.9.5 появилась экспериментальная app для голосового чата с аватаром, открывается она через WebUI. Пользователь говорит в микрофон, система распознаёт речь, генерирует ответ, озвучивает его и показывает говорящую голову, которая артикулирует этот ответ. Всё считается локально.

Под капотом три модели. SoulX-FlashHead генерирует говорящую голову в реальном времени, OWSM v4 переводит входящую речь в текст, LFM3-Audio формирует разговорный ответ и синтезирует речь. LFM3-Audio при этом вызывается дважды: путь speech-to-speech даёт только один голос, поэтому ответ дополнительно озвучивается через TTS другим голосом.

Ориентиры по железу и скорости: на RTX 5090 от отправки вопроса до начала речи аватара проходит около 850 мс, ASR работает параллельно с остальной обработкой. Для SoulX рекомендуется RTX 4090 или мощнее, а cuDNN обязателен: без него инференс вдвое медленнее и требует вдвое больше VRAM. Ниже устройство пайплайна, цена двойного вызова LFM3-Audio, требования к железу и реальная задержка.

Что нового в audio.cpp 0.9.5: аватар-чат прямо в WebUI

Что такое «app» в терминах audio.cpp

«App» здесь означает режим внутри audio.cpp, а не отдельный бинарник или самостоятельный сервис. Открывается он из того же WebUI, через который управляют остальными возможностями проекта: выбираете нужную app, запускаете её в браузере и говорите в микрофон. Ставить второй продукт не нужно. Готового сценария установки «в пару кликов» в описании релиза в r/LocalLLaMA нет: конкретные шаги зависят от вашей сборки audio.cpp и версии WebUI.

Статус у режима экспериментальный. На практике это значит: прототипный интерфейс, часть накладных расходов по задержке идёт именно от UI, поведение между сборками может отличаться. Относиться к нему стоит как к полигону, где проверяют, как звучит и выглядит локальный аватар-чат, а не как к продукту с гарантированным временем отклика.

Кому это интересно и чего ждать от экспериментальной сборки

Аудитория узкая: владельцы RTX 4090, RTX 5090 и сопоставимых карт, энтузиасты локального аудио и те, кто собирает собственные голосовые пайплайны. С 12 или 16 ГБ VRAM эта конкретная связка в реальном времени вряд ли поедет: генерация видео остаётся самым прожорливым этапом. Что реально запускается на 12, 16 и 24 ГБ, разобрано в отдельном материале про voice-to-voice модели.

Чего ждать не стоит: предсказуемой задержки, отполированного интерфейса и стабильности между версиями. Двойной вызов LFM3-Audio и прототипный UI прямо названы источниками накладных расходов. Честная формулировка звучит так: работает, но медленнее, чем могло бы.

  • стоит пробовать, если у вас RTX 4090 или мощнее, есть опыт запуска локальных моделей и интерес к аудио-визуальным пайплайнам;
  • не стоит, если нужен голосовой ассистент с предсказуемым откликом на слабом железе или готовое решение без настройки.

Архитектура пайплайна: три модели и их роли

Схема в общем виде: голос, текст, ответ, речь, видео. Каждый переход обслуживает отдельная модель, и это удобно для диагностики задержки: узкое место может сидеть в любом звене.

ЭтапМодельЧто делаетОсобенность
ASROWSM v4Переводит входящую речь в текстработает параллельно
Ответ и TTSLFM3-AudioФормирует разговорный ответ, синтезирует речьвызывается дважды
ВидеоSoulX-FlashHeadГенерирует говорящую голову в реальном временисамый требовательный к GPU этап

OWSM v4: распознавание речи на входе

OWSM v4 закрывает ASR: превращает поток речи в текст, с которым дальше работает разговорная модель. Отдельная ASR-модель вместо встроенного в аудиомодель распознавания даёт предсказуемое звено, которое можно менять и отлаживать независимо от остальных.

ASR работает параллельно с другими этапами. Для пользователя это означает, что распознавание не выстраивается в длинную последовательную цепочку, но и из бюджета задержки не исчезает. Качество распознавания на именах, терминах и цифрах остаётся типичной слабой точкой локальных голосовых пайплайнов: почему это до сих пор барьер, разобрано в материале о том, чего не хватает голосовым ассистентам.

LFM3-Audio: ответ и синтез речи

LFM3-Audio делает две вещи: формирует разговорный ответ и синтезирует речь. В этой сборке модель вызывается дважды, и второй вызов нужен именно для озвучки другим голосом. Размер модели, квантизация и прочие параметры в описании релиза не раскрываются, поэтому оценивать её стоит по роли в пайплайне, а не по цифрам, которых нет.

SoulX-FlashHead: говорящая голова в реальном времени

SoulX-FlashHead отвечает за видео: генерирует говорящую голову в реальном времени. Этот этап задаёт нижнюю границу по железу. Для SoulX рекомендуется RTX 4090 или мощнее; на картах слабее real-time по видео, скорее всего, разваливается, а без cuDNN разваливается даже на подходящей.

Почему LFM3-Audio вызывается дважды и как это влияет на задержку

Ограничение speech-to-speech: один голос

Путь speech-to-speech в текущей реализации даёт только один голос. Если нужен ответ, озвученный другим голосом, его приходится синтезировать отдельно, через TTS LFM3-Audio. Отсюда второй вызов модели. Это архитектурное ограничение текущей сборки, а не забытый баг: так устроен обход ограничения на один голос в S2S-ветке.

Практический смысл двойного вызова в том, что система получает два разных голоса в одном диалоге. Плата за это - дополнительный проход через аудиомодель на каждый ответ.

Что это значит для отзывчивости

Двойной вызов добавляет задержку. Измерить его вклад по открытым данным нельзя: в описании нет разбивки по компонентам, есть только итоговые ~850 мс на RTX 5090. Двойной вызов LFM3-Audio прямо назван одним из мест, которые можно оптимизировать. Подтверждений, что это уже сделано, нет.

Требования к железу: GPU, VRAM и обязательный cuDNN

Почему без cuDNN real-time не получится

Без cuDNN инференс вдвое медленнее и требует вдвое больше VRAM.

Для пайплайна, который целится в реальное время, это разница между рабочей демонстрацией и слайд-шоу. Модели, которые помещались в память, перестают помещаться, а задержка выходит за пределы разумного. Вывод простой: проверьте cuDNN до запуска app, иначе будете отлаживать не тот слой. Точные значения VRAM для всей связки в описании не приводятся, поэтому «влезет или нет» придётся считать по факту на своей конфигурации.

RTX 4090 как минимум и RTX 5090 как ориентир по задержке

Для SoulX рекомендуется RTX 4090 или мощнее. RTX 5090 в источнике фигурирует как карта, на которой замерили около 850 мс от отправки вопроса до начала речи аватара. Экстраполировать эту цифру на другие GPU нельзя: у RTX 4090 другая производительность и другая пропускная способность памяти, а замер для неё в описании не приводится.

Задержка на практике: что такое ~850 мс на RTX 5090

Эта цифра означает время от отправки вопроса до момента, когда аватар начинает говорить. Речь о старте речи, а не о полном отрисованном ответе. Метрика измерена на RTX 5090 и включает накладные расходы прототипного интерфейса и двойного вызова LFM3-Audio.

Из чего складывается задержка

  • ASR на OWSM v4, работает параллельно;
  • первый вызов LFM3-Audio: формирование разговорного ответа;
  • второй вызов LFM3-Audio: TTS другим голосом;
  • генерация видео SoulX-FlashHead до первого кадра;
  • накладные расходы прототипного UI.

Точных долей источник не даёт. Известно, что двойной вызов и UI названы источниками накладных расходов, а ASR идёт параллельно. Любая разбивка по процентам в такой ситуации будет догадкой.

Что цифра говорит о потенциале технологии

850 мс на старте речи уже похоже на живой диалог: пауза заметна, но разговор не ломает. Нативное приложение с более оптимизированной реализацией могло бы снизить задержку дополнительно. Это оценка из описания релиза, без сроков и подтверждённого результата в миллисекундах. Пока речь о прототипе, который показывает реализуемость связки, а не о продукте с предсказуемым временем отклика.

Стоит ли запускать сейчас: ограничения и перспективы

Кому подойдёт экспериментальная app

Техническим пользователям с RTX 4090 или RTX 5090, кто уже запускал локальные модели и готов разбираться с cuDNN, сборкой и прототипным интерфейсом. Если задача - увидеть, как выглядит локальный аватар-чат и где у него пределы, версия 0.9.5 даёт такую возможность без написания пайплайна с нуля.

Если нужен стабильный ассистент с предсказуемой задержкой, эта связка не подходит. Для таких сценариев есть более скромные по железу архитектуры: например, офлайн-ассистент на Python с Gemma 3, Vosk, Faster-whisper и Silero, разобранный в отдельном материале. Говорящую голову он не рисует, зато предсказуемо работает на куда меньших GPU.

Что оптимизируют дальше

Два названных направления: убрать двойной вызов LFM3-Audio и уйти от прототипного UI к нативному приложению. Оба пункта обозначены в тексте релиза как пространство для оптимизации. Сроков и ожидаемого выигрыша в миллисекундах там нет, так что планировать что-то на основе этих планов рано.

По сравнению с другими локальными голосовыми сборками audio.cpp 0.9.5 выделяется именно видеозвеном: большинство офлайн-ассистентов ограничиваются ASR, LLM и TTS. Плата за аватар - требования к GPU и задержка, которая пока держится в районе 850 мс только на топовой карте.

Если решите пробовать, порядок такой: проверьте cuDNN, зафиксируйте версию сборки, измерьте собственную задержку от отправки вопроса до старта речи. Ориентир в 850 мс получен на RTX 5090 и на другой карте ничего не гарантирует.

Подписаться на канал