Что такое Kyutai Pocket TTS и зачем она нужна
20 октября Kyutai выложила три уменьшенные модели семейства Pocket TTS: на 1,9, 6,9 и 18,2 млн параметров. Все три англоязычные, поддерживают клонирование голоса и рассчитаны на работу на CPU. Описание релиза появилось в r/LocalLLaMA в тот же день.
Практический смысл простой: синтез речи переезжает на процессор, а GPU остаётся чат-модели. Это чувствуется, когда LLM на 20-30 млрд параметров уже едва помещается в VRAM и каждый лишний гигабайт вынуждает сильнее квантизовать веса или резать контекст. Pocket TTS считает параметры миллионами, а не миллиардами, и на память GPU не претендует вовсе.
Ограничения видны сразу. Язык только английский. Публичных замеров качества и скорости в описании релиза нет. Заявленные размеры включают аудиодекодер, то есть не описывают генератор в чистом виде. Дальше - что с этим делать практически.
Почему TTS на CPU - это про VRAM, а не про скорость
GPU синтезирует речь быстрее CPU, спорить не о чем. Вопрос в том, что дешевле: отдать синтезу часть видеопамяти или часть процессорного времени. Для домашнего сервера ответ обычно второй.
Сценарий типичный. Модель на 24 ГБ VRAM занимает почти всё доступное место, и рядом с ней уже не живёт ни второй экземпляр для батчей, ни визуальная модель. Добавьте туда ещё и TTS: придётся либо снижать точность квантизации и терять качество ответов, либо сокращать контекст. Перенос синтеза на CPU убирает конкуренцию за память полностью.
Цена - скорость. Насколько она велика, из описания релиза не понять: ни RTF, ни задержки до первого аудио там нет. Для озвучки готовых ответов ассистента, которые можно синтезировать очередью, это часто приемлемо. Для живого диалога в реальном времени вопрос открытый, и проверять его придётся на своём железе.
Три размера: 1,9M, 6,9M и 18,2M параметров
В линейке три варианта, и переключаться между ними можно прямо в демо Kyutai.
| Модель | Параметры | Что учитывать |
|---|---|---|
| Pocket TTS 1.9M | 1,9 млн | минимальная нагрузка, меньше всего запаса на длинную речь |
| Pocket TTS 6.9M | 6,9 млн | средний вариант, точка старта по совету автора релиза |
| Pocket TTS 18.2M | 18,2 млн | самая крупная, для случаев, когда CPU не узкое место |
Две технические детали важнее самих цифр. Первая: заявленные размеры включают аудиодекодер, поэтому 1,9M, 6,9M и 18,2M - это не размер только генеративной части. Вторая: энкодер, который обрабатывает референсный голос, отдельный и в эти цифры не входит, а сам референс кодируется один раз.
Как запустить Pocket TTS локально на CPU
Код, инструкции по настройке и веса лежат в репозитории kyutai/pocket-tts. Точных команд установки, версий зависимостей и флагов CLI в доступном описании нет, поэтому их нужно смотреть в README: придумывать их за авторов бессмысленно.
Логика запуска такая:
- Развернуть окружение по инструкции репозитория и скачать выбранный размер модели.
- Подготовить короткую запись голоса, который нужно клонировать: один говорящий, минимум фона. Требований к качеству записи в описании релиза нет, но это первое, что стоит проверить, если результат шипит.
- Прогнать запись через энкодер и сохранить полученный эмбеддинг.
- Генерировать речь, подставляя сохранённый эмбеддинг в каждый запрос.
Шаг с энкодером делается один раз на голос, а не на каждую фразу. Предобработка отделена от синтеза, и это главное, что стоит понять про архитектуру до установки.
Референсный голос: почему энкодер отдельный и что это даёт
Частая путаница: входят ли возможности клонирования в те самые 1,9, 6,9 и 18,2 млн параметров. Не входят. Энкодер, который превращает образец голоса в эмбеддинг, - отдельный компонент, и в заявленный размер моделей он не попал.
Что это даёт на практике. Клонирование не раздувает бюджет основной модели: сколько бы голосов вы ни держали, генератор остаётся того же размера. Меняется только предобработка: каждый новый голос кодируется один раз, результат переиспользуется дальше.
Демо с переключением размеров
В демо Kyutai размер модели меняется на лету, так что один и тот же текст можно послушать в трёх вариантах. Это самый дешёвый способ понять, хватает ли 1,9M: ни ставить окружение, ни скачивать веса не нужно. Про ограничения демо (лимиты запросов, доступность без регистрации) в описании релиза ничего нет, поэтому как продакшн-инструмент его рассматривать не стоит.
Какую модель выбрать: 1,9M, 6,9M или 18,2M
Автор релиза начал бы с версии на 6,9 млн параметров. Его аргумент: 1,9M впечатляет, но он готов потратить несколько миллионов параметров на голос, который можно слушать дольше тридцати секунд. Это субъективное мнение, а не результат бенчмарка, и держать это в голове стоит.
Почему 6,9M - разумная точка старта
Логика простая, без магии. 1,9M - самый дешёвый по ресурсам вариант, и на коротких фразах он может звучать убедительно. На длинных фрагментах запас параметров обычно помогает держать интонацию и не разваливаться к концу абзаца. 6,9M даёт этот запас и остаётся кратно меньше большинства локальных TTS: SupraTTS-0.1-Beta заявлена на 29,6 млн параметров и тоже целится в CPU и edge-устройства.
Когда имеет смысл 18,2M
18,2M - старшая из трёх. Брать её стоит, если процессор не узкое место и приоритет отдан качеству голоса: на домашнем сервере, где CPU простаивает, лишние миллионы параметров вряд ли что-то сломают. Утверждать, что 18,2M объективно лучше по метрикам, нельзя: измерений нет. Проверять нужно на своём тексте, о методике ниже.
Как сравнивать модели на своём тексте
Рекомендация автора релиза: взять отрывок на пару минут и включить в него имена, числа и сложную пунктуацию. Тридцать секунд ровного текста для выбора модели мало.
- Имена. Незнакомые собственные имена проверяют, как модель обращается с редкими сочетаниями букв: там вылезают перестановки и лишние слоги.
- Числа. Даты, суммы, годы и десятичные дроби показывают, превращает ли модель цифры в слова или читает их криво.
- Сложная пунктуация. Вложенные запятые, скобки, вопросительные и восклицательные знаки проверяют паузы и интонацию.
Почему тридцать секунд - плохой тест
На коротком клипе слышно тембр и общую разборчивость. Не слышно накопленных артефактов: шипения, плывущей интонации, сбоев на второй-третьей минуте, когда модель теряет ритм. Для озвучки коротких ответов ассистента тридцати секунд может хватить. Для длинного текста такой тест обманет.
Практика простая: соберите один тестовый отрывок на 1,5-2 минуты с именами коллег, датами, суммами и парой вложенных конструкций, прогоните через все три размера и слушайте целиком, а не первые пятнадцать секунд. Это методическая рекомендация, а не подтверждённый результат оценки: цифр качества за ней не стоит.
Куда встроить TTS в локальный AI-стек
Рабочий сценарий из описания релиза: локальный ассистент озвучивает свой ответ, не тратя дополнительный бюджет VRAM, потому что синтез речи идёт на CPU. Схема простая. LLM и её контекст на GPU, Pocket TTS на CPU, эмбеддинг референсного голоса кодируется один раз при старте и переиспользуется.
LLM на GPU, речь на CPU: как разделить нагрузку
Разделение ресурсов лучше продумать заранее. LLM генерирует токены в своём темпе, готовый текст уходит в очередь на синтез, CPU разбирает её в фоне. Пока модель печатает следующую порцию, предыдущая уже звучит. Такой конвейер снижает ощущение задержки без единого лишнего мегабайта видеопамяти.
Оговорка по языку. Pocket TTS озвучивает английский, поэтому для русского текста схема не сработает: нужен другой движок. Из локальных решений с клонированием на CPU стоит посмотреть Sopro V2 Turbo 2610 на 120 млн параметров: английский, европейский португальский, французский и немецкий, русского в списке тоже нет. Для настольной озвучки с чанкингом и клонированием голосов есть TTS Studio, GUI поверх Kokoro и Chatterbox.
Ограничения Pocket TTS, о которых стоит знать заранее
Список короткий, но каждый пункт способен изменить решение.
- Только английский в трёх выпущенных моделях.
- Размеры включают аудиодекодер, поэтому миллионы параметров нельзя напрямую сравнивать с чужими TTS.
- Энкодер референса отдельный и в заявленные размеры не входит; кодирование образца добавляет шаг предобработки.
- Бенчмарков нет. Ни объективных метрик качества, ни замеров скорости на конкретном железе в описании релиза не приводится. Совет начать с 6,9M и методика тестирования на длинном тексте - мнение автора новости, не измерение.
Английский язык и многоязычные версии в репозитории
Русского среди выпущенных моделей нет. В репозитории kyutai/pocket-tts отдельно лежат переобученные версии для французского, итальянского (6 и 24 слоя), нидерландского, немецкого, испанского и португальского (6 слоёв) с полнодлинными голосовыми промптами и пересчитанными голосовыми эмбеддингами. Там же упоминаются новые токенизаторы и новый нидерландский голос daan. Русской модели в этом списке нет, и обещать её скорое появление не из чего.
Практический вывод для русскоязычного проекта: Pocket TTS подходит для англоязычной озвучки, а не как универсальный движок. Задачу русского синтеза придётся закрывать другой моделью.
Размеры с аудиодекодером: что это меняет на практике
Сравнивать 1,9M с другими TTS по голой цифре параметров некорректно: неизвестно, что именно авторы включили в счёт. Для примера, Inflect-Nano-v2 заявлена на 3,96 млн параметров вместе с обработкой текста, таймингом, генерацией и декодером сигнала, и в обзоре Inflect v2 видно, как такие цифры читать. Правило простое: перед сравнением проверьте, что входит в размер у обеих моделей, иначе вывод будет в пользу того, кто аккуратнее посчитал.
Кому подходит Pocket TTS, а кому нет
Подходит, если локальная LLM занимает почти всю VRAM и вы не хотите делить её с синтезом. Подходит, если целевой язык английский, а клонирование голоса нужно без облачных сервисов и без нагрузки на GPU. Ответственность за оценку качества при этом на вас: ориентироваться придётся на собственные уши.
Не подходит, если нужен русский синтез. Не подходит, если для выбора обязательны бенчмарки и независимые замеры: их пока нет. И не подходит, если не хочется разбираться с репозиторием и предобработкой референсной записи: готового сценария «поставил и работает» здесь нет.
Короткий чек-лист перед установкой
- Целевой текст на английском.
- LLM уже сидит на GPU, и VRAM в дефиците.
- На CPU есть свободный запас под фоновый синтез.
- Есть чистая запись голоса для клонирования и понимание, что её кодируют один раз.
- Готовы прогнать тест на паре минут текста с именами, числами и сложной пунктуацией, а не на одном коротком клипе.
Если все пункты сходятся, начинайте с демо, а затем берите версию на 6,9 млн параметров: это дешёвая проверка гипотезы, что синтез на CPU устроит вас по скорости и качеству. Если хотя бы один пункт не сходится, экономия VRAM не окупит возню с настройкой.