Перейти к содержанию
Публикация AiManual

tiny-voca: открытая TTS-модель на 4,5 млн параметров и 18 МБ, которая работает в браузере и на CPU

tiny-voca - полностью открытая англоязычная TTS-модель: 4 537 291 параметр, 18 МБ вместе с генерацией звука, два голоса на 24 кГц и около 70x реального времени

Коротко

Что будет в материале

  1. 01

    Что такое tiny-voca и почему вокруг неё шум

  2. 02

    Как попробовать tiny-voca: браузер, PyTorch и ONNX

  3. 03

    Почему tiny-voca такая быстрая: архитектура без нейросетевого вокодера

  4. 04

    Ограничения tiny-voca, о которых лучше знать заранее

tiny-voca - полностью открытая англоязычная TTS-модель: 4 537 291 параметр, 18 МБ весов вместе с блоком генерации волновой формы, два голоса (женский и мужской) на 24 кГц. Запускается через PyTorch, ONNX и прямо в браузере, на четырёх потоках CPU автор заявляет около 70x реального времени. Код, веса, рецепт обучения и датасет открыты, автор проекта - разработчик n4ze3m.

Интерес здесь не в рекордах качества. Модель обучили с нуля за 7,7 часа на одной RTX 4090 и выложили весь пайплайн целиком. Такой набор цифр полезен тем, кто присматривается к собственной маленькой TTS для браузера или устройства без GPU: он показывает реальную планку входа.

Вторая причина присмотреться - архитектура. В tiny-voca нет нейросетевого вокодера: звук собирает небольшой source-filter синтезатор. Отсюда и 18 МБ на всю модель, и скорость на CPU, и характерное «слегка синтетическое» звучание. Инструмент узкий: только английский, два фиксированных голоса, клонирования нет.

Что такое tiny-voca и почему вокруг неё шум

Формально это обычная TTS: на вход идёт текст, на выходе волновая форма 24 кГц. Необычно другое. Весь ансамбль, включая ту часть, что отвечает за генерацию звука, умещается в 18 МБ, а не в сотни мегабайт и не в гигабайты, как у авторегрессионных моделей с клонированием голоса. Для сравнения: Tontaube V1.1 в 4-битном кванте весит 1,8 ГБ, то есть в сто раз больше. Разница в порядке величины и объясняет, почему вокруг tiny-voca вообще возник разговор.

Второй фактор - воспроизводимость. Открыты не только веса, но и рецепт обучения плюс датасет, а обучение заняло 7,7 часа на одной потребительской карте. Для исследователя или разработчика это редкая комбинация: можно не гадать, как получен чекпоинт, а прочитать и повторить.

Ключевые характеристики в одной таблице

ПараметрЗначение
Параметры4 537 291
Размер18 МБ, вся модель, включая часть для генерации волновой формы
Частота дискретизации24 кГц
Голосадва: женский и мужской
Языктолько английский
Клонирование голосанет
Среды запускаPyTorch, ONNX, браузер
Скоростьоколо 70x реального времени на 4 потоках CPU
Обучениес нуля, 7,7 часа на одной RTX 4090
Что открытокод, веса, рецепт обучения, датасет; отдельно публикуется фонемайзер dizione

Все цифры в таблице приведены по описанию автора в анонсе проекта. Оговорка про скорость важна: 70x относится к конкретной конфигурации из четырёх потоков CPU, для других процессоров и числа потоков замеров нет, экстраполировать эти данные на свой сервер или ноутбук нельзя.

Кто стоит за проектом и что именно открыто

Автор tiny-voca - разработчик n4ze3m. Открыты код, веса, рецепт обучения и датасет, то есть весь путь от данных до инференса. Отдельно автор публикует dizione - собственный фонемайзер, который используется в модели. Это самостоятельная ценность: чаще в открытых TTS-репозиториях фонемайзер берут готовый, а тут его тоже можно изучить и переиспользовать.

Такая комплектность отличает проект от типичного «демо без весов», где показан результат, но повторить его нельзя. Конкретные условия лицензирования в описании не приводятся, поэтому если планируете коммерческое использование, детали стоит уточнять в самом репозитории, а не по пересказу.

Как попробовать tiny-voca: браузер, PyTorch и ONNX

Путей три: браузерная демонстрация, локальный запуск через PyTorch и запуск через ONNX. Выбор зависит от задачи: посмотреть на звук за минуту, встроить в Python-пайплайн или упаковать в приложение с переносимым форматом модели. Готовых команд установки и сигнатур API в описании нет, поэтому за конкретикой стоит идти в репозиторий автора.

Браузерная демо без отправки данных на сервер

Формулировка автора: «it runs in your browser. Try it here, nothing is sent to a server». На практике это значит, что синтез идёт на стороне клиента, а текст, который вы вводите, не уходит на удалённый сервер модели. Для сценариев с внутренними документами, персональными данными или просто нежеланием гонять текст наружу это существенный аргумент.

Границы утверждения тоже стоит видеть. Речь о заявлении автора применительно к его демо, а не о гарантии анонимности в любом окружении: страница, расширения браузера и сетевая обвязка сайта живут по своим правилам. Проверять приватность на практике стоит так же, как любую другую веб-страницу.

Локальный запуск через PyTorch и ONNX

PyTorch подойдёт, если вы работаете в Python-экосистеме: удобно грузить веса, подменять компоненты, разбираться с фонемайзером и переобучать. ONNX имеет смысл, когда модель нужно встроить в приложение или пайплайн, где важен переносимый формат и запуск без полного Python-стека. Дизайн на 18 МБ тут работает в плюс: такой файл легко упаковать в десктопную утилиту, расширение или образ устройства.

Если задача именно в синтезе на CPU и вы сравниваете варианты, рядом по смыслу стоят модели Kyutai Pocket TTS: они тоже рассчитаны на процессор, но умеют клонировать голос по короткому образцу, а tiny-voca - нет.

Что значит ~70x реального времени на CPU

Перевод в бытовые единицы простой: 70x быстрее реального времени означает, что минута речи синтезируется примерно за 0,86 секунды, а десять минут текста - секунд за девять. Всё это на четырёх потоках CPU, без видеокарты. Для озвучки интерфейса, коротких реплик или пакетной генерации небольших файлов такой запас избыточен с головой.

Два ограничения. Первое: это заявка автора, а не независимый бенчмарк, и зависит она от процессора, длины фраз и реализации. Второе: других замеров в описании нет, поэтому «70x» нельзя переносить на ARM-плату, Raspberry Pi или старый ноутбук без собственной проверки.

Почему tiny-voca такая быстрая: архитектура без нейросетевого вокодера

В стандартной TTS-схеме акустическая модель выдаёт промежуточное представление (обычно мел-спектрограмму), а нейросетевой вокодер превращает его в волновую форму. Именно вокодер съедает заметную часть вычислений и памяти: это диффузионная или авторегрессионная сеть, которая работает на десятках тысяч отсчётов в секунду. Минута звука - миллионы шагов и мегабайты весов.

Source-filter синтезатор вместо вокодера

В tiny-voca этого блока нет. Звук создаёт небольшой source-filter синтезатор: сначала формируется источник (периодические импульсы для гласных, шум для согласных), затем сигнал проходит через набор фильтров, которые задают форманты и тембр. Классическая схема, известная задолго до нейросетей, только управляемая предсказаниями компактной сети.

Отсюда три следствия сразу. Модель укладывается в 18 МБ, включая генерацию волновой формы. Скорость на CPU вырастает на порядки. И появляется характерный призвук: автор честно пишет, что голос может звучать слегка синтетически. Студийной естественности от такого компромисса ждать не нужно, а вот предсказуемости и дешёвого инференса - вполне.

Фонемайзер dizione и его роль

Второй компонент пайплайна превращает текст в фонемы, и в tiny-voca это собственный фонемайзер dizione. Ошибки произношения на иностранных именах и необычных написаниях рождаются именно на этом уровне: если слово разобрано неверно, синтезатор добросовестно озвучит уже неверную последовательность фонем. Никакой вокодер, даже самый тяжёлый, такую ошибку не исправит.

Практический вывод: проблемы с произношением в tiny-voca лечатся в первую очередь на входе, через словарь и правила фонемайзера. Автор просит присылать проблемные тексты с указанием голоса, и это логично: без исходной строки и выбранного голоса воспроизвести баг невозможно.

Ограничения tiny-voca, о которых лучше знать заранее

Список короткий, но каждый пункт отсекает целый класс задач. Ниже только то, что заявлено автором, без домыслов и без смягчений.

  • Язык один: английский. Русского, немецкого или любого другого в модели нет.
  • Голосов два, женский и мужской, оба фиксированные.
  • Клонирования голоса нет: свой тембр по образцу не сделать.
  • Иностранные имена и необычные написания часто читаются неправильно.
  • Звучание может восприниматься как слегка синтетическое.
  • Обучающее аудио синтетическое, поэтому потолок качества задан исходными данными.

Язык, голоса и отсутствие клонирования

Если продукту нужен голос бренда, диктор с уникальным тембром или хотя бы третий вариант озвучки, tiny-voca не подходит по конструкции, а не из-за недоработки весов. Это рамка проекта: два голоса, и всё. В мультиязычном интерфейсе модель тоже бесполезна, пока не появятся отдельные языковые чекпоинты.

Ошибки на именах, числах и необычных написаниях

Автор прямо просит проверять сложные тексты: числа, даты, имена, длинные предложения. Это готовый чек-лист приёмки. Прогоните на своей модели типичный для вашего продукта контент: артикулы, суммы, названия компаний, аббревиатуры, длинные перечисления. Если такой текст читается ровно, сценарий ваш; если нет, исправление потребует работы со словарём, а не замены весов.

Потолок качества из-за синтетических обучающих данных

Обучающее аудио сгенерировано моделью Qwen3-TTS. Отсюда прямое следствие, которое автор формулирует сам: модель не может звучать лучше исходных данных. Это потолок пайплайна, а не мелкий баг чекпоинта. Для тех, кто захочет дообучать tiny-voca, порядок действий очевиден: сначала решать вопрос с качеством и разнообразием данных, потом ждать прироста от тренировки.

Как обучали tiny-voca и что даёт открытый рецепт

Модель обучена с нуля за 7,7 часа на одной RTX 4090. Открытый рецепт превращает этот факт из новости в рабочий инструмент: можно взять те же данные, поменять фонемайзер, добавить голос или язык и посмотреть, что получится. Для небольшой команды это дешевле, чем начинать с нуля без ориентира.

7,7 часа на одной RTX 4090: что это значит на практике

По порядку величины это один рабочий день на одной потребительской карте. Цифра заявлена автором и независимо не проверялась, поэтому воспринимать её стоит как ориентир, а не как гарантированный бюджет времени. Смысл в другом: порог входа для собственной маленькой TTS измеряется часами, а не неделями кластера.

Открытый датасет и его происхождение

Датасет открыт, но он синтетический: аудио сгенерировано Qwen3-TTS. Плюс в том, что пайплайн воспроизводим целиком без сбора и разметки реальных записей. Минус в том, что качество и естественность унаследованы от генератора, а артефакты исходника перейдут в модель. Использовать датасет как универсальный корпус для любых задач синтеза нельзя, и в описании таких обещаний нет.

Кому и для чего подходит tiny-voca

Модель решает узкий, но реальный класс задач: там, где важен размер, скорость на CPU и отсутствие отправки текста наружу, а не абсолютное качество голоса.

Сценарии, где 18 МБ и CPU решают

  • Браузерные приложения и расширения с озвучкой на клиенте: текст не покидает устройство пользователя.
  • Офлайн-утилиты для чтения англоязычных заметок, логов и документации без интернета.
  • Устройства без GPU: тонкий клиент, мини-ПК, встраиваемые системы, где 18 МБ весов не проблема.
  • Прототипы и внутренние инструменты, где нужна быстрая итерация, а не студийный звук.
  • Пакетная озвучка коротких англоязычных реплик, где 70x на четырёх потоках CPU закрывают объём.

Общий признак подходящей задачи: английский текст, стандартный голос из двух доступных, готовность принять лёгкую синтетику в звучании.

Когда лучше взять другую TTS

Нужен русский или другой язык, клонирование голоса, больше двух голосов или максимальная естественность - tiny-voca не тот инструмент. Ориентиры для выбора такие. За компактным синтезом на CPU и edge-устройствах стоит смотреть в сторону SupraTTS-0.1-Beta на 29,6 млн параметров по архитектуре Glow-TTS. Если нужны теги эмоций и звуков плюс клонирование по короткому фрагменту, есть Silencio-2. Когда качество важнее размера и есть GPU, в игру вступают тяжёлые модели с нейросетевым вокодером вроде Tontaube V1.1 на 2,9 млрд параметров. Разница в порядке величины по весам и есть та цена, которую платят за естественность.

Итог: стоит ли держать tiny-voca в поле зрения

tiny-voca ценна как пример честного маленького пайплайна, а не как замена топовым TTS. 4 537 291 параметр, 18 МБ вместе с генерацией волновой формы, два голоса на 24 кГц, около 70x реального времени на четырёх потоках CPU, открытые код, веса, рецепт обучения и датасет. Ключевой компромисс зашит в архитектуру: нейросетевого вокодера нет, звук собирает source-filter синтезатор, а обучающее аудио синтетическое и ограничивает потолок качества.

Следующий шаг занимает минуты: открыть браузерную демо и прогнать тексты, которые важны именно вам. Числа, даты, имена, длинные предложения, аббревиатуры. Если что-то звучит неверно, автор просит сообщать о таких случаях и указывать текст и выбранный голос. Такой прогон даст больше, чем чтение чужих впечатлений: он покажет, попадает ли модель в ваш сценарий и хватает ли ей английского с двумя голосами.

Подписаться на канал