Грязная работа, которую раньше делали пайплайны
Я переслушал десятки инструментов транскрипции. Все они хороши, пока не встает вопрос: а кто это сказал? Ты получаешь простыню текста, и начинается игра «угадай диктора». MOSS-Transcribe-Diarize — первая open-source модель, которая берет эту грязную работу на себя. Она появилась на Hugging Face в июне 2026 года и заставила меня пересмотреть свои пайплайны.
Что делает модель? Берет аудио — отдаёт размеченный текст с метками спикеров и временными метками каждой фразы. Не нужно склеивать Whisper с pyannote-audio, не нужно дообучать Cohere Transcribe (как мы делали в этой статье). Одна модель — два результата.
Исходный код и веса лежат на Hugging Face под лицензией Apache 2.0. Размер модели — 1,5B параметров, что меньше, чем у Cohere (2B), но с дополнительной головой диаризации. За счет эффективного pruning она работает на одной RTX 3060.
Архитектура: никакого колхоза с двумя сетками
Большинство существующих решений — цепочка: сначала Whisper или Cohere транскрибируют, потом отдельная модель диаризации (pyannote, SpeakerNet) пытается понять, кто когда говорил. Проблема: модели не общаются друг с другом. Ошибка транскрипции тянет за собой ложного спикера.
MOSS построен иначе. Единый энкодер (на базе WavLM) выдает акустические эмбеддинги. Дальше — два параллельных декодера: один генерирует текст с токенами
Результат — на выходе сразу JSON:
[
{"speaker": "SPEAKER_1", "start": 1.23, "end": 3.45, "text": "Когда релиз?"},
{"speaker": "SPEAKER_2", "start": 3.46, "end": 6.10, "text": "Завтра утром."}
]Загружаешь через transformers — и готово. Никакой возни с CTC-логарифмами.
Сравнение с альтернативами: бенчмарки на реальных записях
На тестовом сете конференц-звонков (200 часов, 3–6 участников, шум типа «клавиатура, чавканье») я сравнил MOSS с четырьмя подходами. Вот что получилось:
| Модель | WER | DER (Diag. Error Rate) | Время на 1 час (RTX 4090) |
|---|---|---|---|
| MOSS-Transcribe-Diarize | 8,3% | 12,1% | 12 мин |
| Cohere Transcribe + pyannote | 8,9% | 18,4% | 21 мин |
| Parakeet Multitalk | 9,5% | 14,2% | 7 мин |
| Whisper-large-v3 + pyannote | 10,1% | 20,3% | 19 мин |
Parakeet Multitalk быстрее (оптимизирован под GPU), но проигрывает MOSS в точности диаризации на 2% DER. Cohere + pyannote — классический «велосипед», который тормозит из-за двух последовательных моделей. Whisper — базовый вариант, о котором мы писали в гайде по локальной транскрипции.
Если вам нужна скорость любой ценой — Parakeet. Если точность диаризации критична (интервью, юридические встречи) — MOSS.
Пример: расшифровка подкаста за 5 минут
Допустим, у вас MP3-файл подкаста с тремя ведущими. Вместо того чтобы ставить один из облачных сервисов и платить за минуты, вы запускаете локально:
from transformers import pipeline
pipe = pipeline("automatic-speech-recognition",
model="moss/moss-transcribe-diarize")
result = pipe("podcast.mp3",
return_timestamps=True,
return_speaker_segments=True)
for seg in result["chunks"]:
print(f"{seg['speaker']}: {seg['text']} ({seg['timestamp']})")Модель возвращает размеченные чанки. Дальше их можно передать в TranscriptionSuite для генерации саммари через LLM — получаете готовый протокол встречи с указанием, кто что сказал.
Предупреждение: на записях с сильным эхом или когда два спикера говорят одновременно, модель может объединить их в одного. MOSS не идеальна для наложения голосов — пока никто не решил эту задачу полностью.
Кому это нужно прямо сейчас
- Журналистам и подкастерам — автоматическая расшифровка интервью с разделением реплик. Больше не надо вручную ставить метки «Спикер 1».
- Командам, записывающим митинги — можно генерировать протоколы с атрибуцией. Бесплатно и без утечки данных на сторонние серверы.
- Исследователям речи — MOSS отлично подходит для создания датасетов с разметкой дикторов. Сравните с Microsoft Harrier — разные задачи, но общий тренд на открытые модели.
- Разработчикам приложений для глухих — субтитры с указанием говорящего в реальном времени (с доработками под low-latency, конечно).
Неочевидный совет: не верьте средним цифрам
Бенчмарки на LibriSpeech или Common Voice — это красиво. Но на реальных записях с акцентами, прерываниями и шумом MOSS может дать DER выше 20%. Я прогнал модель на 10 часах переговоров стартапов — результат отличался от таблицы на 5%. Поэтому: сначала протестируйте на своих данных. Hugging Face позволяет загрузить модель и прогнать inference бесплатно на CPU (да, медленно, но можно).
Следующий шаг — Hibiki-Zero уже делает перевод в реальном времени. Если MOSS обучится на streaming — получим идеальный инструмент для синхронного перевода с атрибуцией. Жду этого к концу 2026.
