tiny-voca - полностью открытая англоязычная TTS-модель: 4 537 291 параметр, 18 МБ весов вместе с блоком генерации волновой формы, два голоса (женский и мужской) на 24 кГц. Запускается через PyTorch, ONNX и прямо в браузере, на четырёх потоках CPU автор заявляет около 70x реального времени. Код, веса, рецепт обучения и датасет открыты, автор проекта - разработчик n4ze3m.
Интерес здесь не в рекордах качества. Модель обучили с нуля за 7,7 часа на одной RTX 4090 и выложили весь пайплайн целиком. Такой набор цифр полезен тем, кто присматривается к собственной маленькой TTS для браузера или устройства без GPU: он показывает реальную планку входа.
Вторая причина присмотреться - архитектура. В tiny-voca нет нейросетевого вокодера: звук собирает небольшой source-filter синтезатор. Отсюда и 18 МБ на всю модель, и скорость на CPU, и характерное «слегка синтетическое» звучание. Инструмент узкий: только английский, два фиксированных голоса, клонирования нет.
Что такое tiny-voca и почему вокруг неё шум
Формально это обычная TTS: на вход идёт текст, на выходе волновая форма 24 кГц. Необычно другое. Весь ансамбль, включая ту часть, что отвечает за генерацию звука, умещается в 18 МБ, а не в сотни мегабайт и не в гигабайты, как у авторегрессионных моделей с клонированием голоса. Для сравнения: Tontaube V1.1 в 4-битном кванте весит 1,8 ГБ, то есть в сто раз больше. Разница в порядке величины и объясняет, почему вокруг tiny-voca вообще возник разговор.
Второй фактор - воспроизводимость. Открыты не только веса, но и рецепт обучения плюс датасет, а обучение заняло 7,7 часа на одной потребительской карте. Для исследователя или разработчика это редкая комбинация: можно не гадать, как получен чекпоинт, а прочитать и повторить.
Ключевые характеристики в одной таблице
| Параметр | Значение |
|---|---|
| Параметры | 4 537 291 |
| Размер | 18 МБ, вся модель, включая часть для генерации волновой формы |
| Частота дискретизации | 24 кГц |
| Голоса | два: женский и мужской |
| Язык | только английский |
| Клонирование голоса | нет |
| Среды запуска | PyTorch, ONNX, браузер |
| Скорость | около 70x реального времени на 4 потоках CPU |
| Обучение | с нуля, 7,7 часа на одной RTX 4090 |
| Что открыто | код, веса, рецепт обучения, датасет; отдельно публикуется фонемайзер dizione |
Все цифры в таблице приведены по описанию автора в анонсе проекта. Оговорка про скорость важна: 70x относится к конкретной конфигурации из четырёх потоков CPU, для других процессоров и числа потоков замеров нет, экстраполировать эти данные на свой сервер или ноутбук нельзя.
Кто стоит за проектом и что именно открыто
Автор tiny-voca - разработчик n4ze3m. Открыты код, веса, рецепт обучения и датасет, то есть весь путь от данных до инференса. Отдельно автор публикует dizione - собственный фонемайзер, который используется в модели. Это самостоятельная ценность: чаще в открытых TTS-репозиториях фонемайзер берут готовый, а тут его тоже можно изучить и переиспользовать.
Такая комплектность отличает проект от типичного «демо без весов», где показан результат, но повторить его нельзя. Конкретные условия лицензирования в описании не приводятся, поэтому если планируете коммерческое использование, детали стоит уточнять в самом репозитории, а не по пересказу.
Как попробовать tiny-voca: браузер, PyTorch и ONNX
Путей три: браузерная демонстрация, локальный запуск через PyTorch и запуск через ONNX. Выбор зависит от задачи: посмотреть на звук за минуту, встроить в Python-пайплайн или упаковать в приложение с переносимым форматом модели. Готовых команд установки и сигнатур API в описании нет, поэтому за конкретикой стоит идти в репозиторий автора.
Браузерная демо без отправки данных на сервер
Формулировка автора: «it runs in your browser. Try it here, nothing is sent to a server». На практике это значит, что синтез идёт на стороне клиента, а текст, который вы вводите, не уходит на удалённый сервер модели. Для сценариев с внутренними документами, персональными данными или просто нежеланием гонять текст наружу это существенный аргумент.
Границы утверждения тоже стоит видеть. Речь о заявлении автора применительно к его демо, а не о гарантии анонимности в любом окружении: страница, расширения браузера и сетевая обвязка сайта живут по своим правилам. Проверять приватность на практике стоит так же, как любую другую веб-страницу.
Локальный запуск через PyTorch и ONNX
PyTorch подойдёт, если вы работаете в Python-экосистеме: удобно грузить веса, подменять компоненты, разбираться с фонемайзером и переобучать. ONNX имеет смысл, когда модель нужно встроить в приложение или пайплайн, где важен переносимый формат и запуск без полного Python-стека. Дизайн на 18 МБ тут работает в плюс: такой файл легко упаковать в десктопную утилиту, расширение или образ устройства.
Если задача именно в синтезе на CPU и вы сравниваете варианты, рядом по смыслу стоят модели Kyutai Pocket TTS: они тоже рассчитаны на процессор, но умеют клонировать голос по короткому образцу, а tiny-voca - нет.
Что значит ~70x реального времени на CPU
Перевод в бытовые единицы простой: 70x быстрее реального времени означает, что минута речи синтезируется примерно за 0,86 секунды, а десять минут текста - секунд за девять. Всё это на четырёх потоках CPU, без видеокарты. Для озвучки интерфейса, коротких реплик или пакетной генерации небольших файлов такой запас избыточен с головой.
Два ограничения. Первое: это заявка автора, а не независимый бенчмарк, и зависит она от процессора, длины фраз и реализации. Второе: других замеров в описании нет, поэтому «70x» нельзя переносить на ARM-плату, Raspberry Pi или старый ноутбук без собственной проверки.
Почему tiny-voca такая быстрая: архитектура без нейросетевого вокодера
В стандартной TTS-схеме акустическая модель выдаёт промежуточное представление (обычно мел-спектрограмму), а нейросетевой вокодер превращает его в волновую форму. Именно вокодер съедает заметную часть вычислений и памяти: это диффузионная или авторегрессионная сеть, которая работает на десятках тысяч отсчётов в секунду. Минута звука - миллионы шагов и мегабайты весов.
Source-filter синтезатор вместо вокодера
В tiny-voca этого блока нет. Звук создаёт небольшой source-filter синтезатор: сначала формируется источник (периодические импульсы для гласных, шум для согласных), затем сигнал проходит через набор фильтров, которые задают форманты и тембр. Классическая схема, известная задолго до нейросетей, только управляемая предсказаниями компактной сети.
Отсюда три следствия сразу. Модель укладывается в 18 МБ, включая генерацию волновой формы. Скорость на CPU вырастает на порядки. И появляется характерный призвук: автор честно пишет, что голос может звучать слегка синтетически. Студийной естественности от такого компромисса ждать не нужно, а вот предсказуемости и дешёвого инференса - вполне.
Фонемайзер dizione и его роль
Второй компонент пайплайна превращает текст в фонемы, и в tiny-voca это собственный фонемайзер dizione. Ошибки произношения на иностранных именах и необычных написаниях рождаются именно на этом уровне: если слово разобрано неверно, синтезатор добросовестно озвучит уже неверную последовательность фонем. Никакой вокодер, даже самый тяжёлый, такую ошибку не исправит.
Практический вывод: проблемы с произношением в tiny-voca лечатся в первую очередь на входе, через словарь и правила фонемайзера. Автор просит присылать проблемные тексты с указанием голоса, и это логично: без исходной строки и выбранного голоса воспроизвести баг невозможно.
Ограничения tiny-voca, о которых лучше знать заранее
Список короткий, но каждый пункт отсекает целый класс задач. Ниже только то, что заявлено автором, без домыслов и без смягчений.
- Язык один: английский. Русского, немецкого или любого другого в модели нет.
- Голосов два, женский и мужской, оба фиксированные.
- Клонирования голоса нет: свой тембр по образцу не сделать.
- Иностранные имена и необычные написания часто читаются неправильно.
- Звучание может восприниматься как слегка синтетическое.
- Обучающее аудио синтетическое, поэтому потолок качества задан исходными данными.
Язык, голоса и отсутствие клонирования
Если продукту нужен голос бренда, диктор с уникальным тембром или хотя бы третий вариант озвучки, tiny-voca не подходит по конструкции, а не из-за недоработки весов. Это рамка проекта: два голоса, и всё. В мультиязычном интерфейсе модель тоже бесполезна, пока не появятся отдельные языковые чекпоинты.
Ошибки на именах, числах и необычных написаниях
Автор прямо просит проверять сложные тексты: числа, даты, имена, длинные предложения. Это готовый чек-лист приёмки. Прогоните на своей модели типичный для вашего продукта контент: артикулы, суммы, названия компаний, аббревиатуры, длинные перечисления. Если такой текст читается ровно, сценарий ваш; если нет, исправление потребует работы со словарём, а не замены весов.
Потолок качества из-за синтетических обучающих данных
Обучающее аудио сгенерировано моделью Qwen3-TTS. Отсюда прямое следствие, которое автор формулирует сам: модель не может звучать лучше исходных данных. Это потолок пайплайна, а не мелкий баг чекпоинта. Для тех, кто захочет дообучать tiny-voca, порядок действий очевиден: сначала решать вопрос с качеством и разнообразием данных, потом ждать прироста от тренировки.
Как обучали tiny-voca и что даёт открытый рецепт
Модель обучена с нуля за 7,7 часа на одной RTX 4090. Открытый рецепт превращает этот факт из новости в рабочий инструмент: можно взять те же данные, поменять фонемайзер, добавить голос или язык и посмотреть, что получится. Для небольшой команды это дешевле, чем начинать с нуля без ориентира.
7,7 часа на одной RTX 4090: что это значит на практике
По порядку величины это один рабочий день на одной потребительской карте. Цифра заявлена автором и независимо не проверялась, поэтому воспринимать её стоит как ориентир, а не как гарантированный бюджет времени. Смысл в другом: порог входа для собственной маленькой TTS измеряется часами, а не неделями кластера.
Открытый датасет и его происхождение
Датасет открыт, но он синтетический: аудио сгенерировано Qwen3-TTS. Плюс в том, что пайплайн воспроизводим целиком без сбора и разметки реальных записей. Минус в том, что качество и естественность унаследованы от генератора, а артефакты исходника перейдут в модель. Использовать датасет как универсальный корпус для любых задач синтеза нельзя, и в описании таких обещаний нет.
Кому и для чего подходит tiny-voca
Модель решает узкий, но реальный класс задач: там, где важен размер, скорость на CPU и отсутствие отправки текста наружу, а не абсолютное качество голоса.
Сценарии, где 18 МБ и CPU решают
- Браузерные приложения и расширения с озвучкой на клиенте: текст не покидает устройство пользователя.
- Офлайн-утилиты для чтения англоязычных заметок, логов и документации без интернета.
- Устройства без GPU: тонкий клиент, мини-ПК, встраиваемые системы, где 18 МБ весов не проблема.
- Прототипы и внутренние инструменты, где нужна быстрая итерация, а не студийный звук.
- Пакетная озвучка коротких англоязычных реплик, где 70x на четырёх потоках CPU закрывают объём.
Общий признак подходящей задачи: английский текст, стандартный голос из двух доступных, готовность принять лёгкую синтетику в звучании.
Когда лучше взять другую TTS
Нужен русский или другой язык, клонирование голоса, больше двух голосов или максимальная естественность - tiny-voca не тот инструмент. Ориентиры для выбора такие. За компактным синтезом на CPU и edge-устройствах стоит смотреть в сторону SupraTTS-0.1-Beta на 29,6 млн параметров по архитектуре Glow-TTS. Если нужны теги эмоций и звуков плюс клонирование по короткому фрагменту, есть Silencio-2. Когда качество важнее размера и есть GPU, в игру вступают тяжёлые модели с нейросетевым вокодером вроде Tontaube V1.1 на 2,9 млрд параметров. Разница в порядке величины по весам и есть та цена, которую платят за естественность.
Итог: стоит ли держать tiny-voca в поле зрения
tiny-voca ценна как пример честного маленького пайплайна, а не как замена топовым TTS. 4 537 291 параметр, 18 МБ вместе с генерацией волновой формы, два голоса на 24 кГц, около 70x реального времени на четырёх потоках CPU, открытые код, веса, рецепт обучения и датасет. Ключевой компромисс зашит в архитектуру: нейросетевого вокодера нет, звук собирает source-filter синтезатор, а обучающее аудио синтетическое и ограничивает потолок качества.
Следующий шаг занимает минуты: открыть браузерную демо и прогнать тексты, которые важны именно вам. Числа, даты, имена, длинные предложения, аббревиатуры. Если что-то звучит неверно, автор просит сообщать о таких случаях и указывать текст и выбранный голос. Такой прогон даст больше, чем чтение чужих впечатлений: он покажет, попадает ли модель в ваш сценарий и хватает ли ей английского с двумя голосами.