ChatLLM.cpp + Qwen3-ASR: Запустите распознавание и выравнивание речи локально без облаков

Представьте: вам нужно расшифровать часовое интервью или выровнять субтитры с видео. OpenAI Whisper API просит деньги и отправляет ваши данные в облако. Whisper локально требует Python, PyTorch и кучу зависимостей. А что если есть решение, которое запускается одной командой, весит 3 ГБ и работает даже на стареньком ноутбуке?

Встречайте связку ChatLLM.cpp и Qwen3-ASR 1.7B. Первый - это форк llama.cpp, заточенный под запуск мультимодальных моделей. Второй - свежайшая (на февраль 2026) open-source модель для распознавания речи от Alibaba, поддерживающая 52 языка. Вместе они дают то, что раньше казалось невозможным: полноценный STT (speech-to-text) пайплайн в одном бинарнике.

Что умеет этот тандем и почему это важно

Qwen3-ASR 1.7B - это не просто очередной клон Whisper. Модель обучена на 1.7 миллиардах параметров и умеет в выравнивание (alignment). Проще говоря, она не только переводит речь в текст, но и точно определяет, в какой момент времени было сказано каждое слово. Это критично для субтитров, анализа диалогов или поиска по аудио.

ChatLLM.cpp берет эту модель и оптимизирует ее под различные железяки. Хотите запустить на CPU? Пожалуйста. Есть NVIDIA GPU с 8 ГБ памяти? Модель ускорится в разы. Даже интегрированная графика Intel или AMD ROCm поддерживается.

Собираем и запускаем: без воды, только команды

Первое, что бесит в большинстве гайдов - они начинаются с установки Python 3.8, создания виртуального окружения и танцев с pip. Здесь все иначе.

1 Качаем и собираем chatllm.cpp

Открываем терминал и клонируем репозиторий. Важный момент: на февраль 2026 актуальная ветка - main, но проверьте, не появились ли экспериментальные фичи в dev.

git clone https://github.com/chatllm/chatllm.cpp
cd chatllm.cpp
make clean && make -j$(nproc)

Флаг -j$(nproc) использует все ядра процессора для сборки. На стареньком Intel Core i5 сборка займет минут 5-7. Если ругается на отсутствие компилятора - ставим gcc или clang через пакетный менеджер вашего дистрибутива.

2 Качаем модель Qwen3-ASR

Тут есть два пути. Первый - официальный Hugging Face:

# Качаем конвертированную версию для chatllm.cpp
wget https://huggingface.co/Qwen/Qwen3-ASR-1.7B-GGUF/resolve/main/qwen3-asr-1.7b-q4_k_m.gguf

Второй путь - конвертировать самим из оригинального формата PyTorch. Но зачем? Уже есть готовые GGUF файлы с разной квантзацией. q4_k_m - оптимальный вариант: почти не теряет в точности, но в 4 раза меньше оригинальной модели.

3 Запускаем распознавание

Базовый запуск выглядит так:

./bin/chatllm-asr -m qwen3-asr-1.7b-q4_k_m.gguf -f audio.wav

Но это только начало. Настоящая магия начинается с флагами:

# Распознаем с выравниванием (таймстампы для каждого слова)
./bin/chatllm-asr -m qwen3-asr-1.7b-q4_k_m.gguf -f podcast.mp3 --output-json

# Используем GPU (если собрали с поддержкой CUDA)
./bin/chatllm-asr -m qwen3-asr-1.7b-q4_k_m.gguf -f interview.wav -ngl 32

# Меняем язык (по умолчанию автоопределение)
./bin/chatllm-asr -m qwen3-asr-1.7b-q4_k_m.gguf -f german_speech.wav -l de

Флаг -ngl 32 загружает 32 слоя модели на GPU. Для Qwen3-ASR 1.7B всего 24 слоя, так что это значение загрузит всю модель в видеопамять. Если GPU слабый (например, RTX 3050 с 4 ГБ), ставьте -ngl 16 - часть слоев останется в оперативке.

Что на выходе? Пример реальной работы

Запустим на тестовом файле с русской речью:

./bin/chatllm-asr -m qwen3-asr-1.7b-q4_k_m.gguf -f test_ru.wav --output-json

Получаем JSON с полной разметкой:

{
  "text": "привет мир это тест распознавания речи на русском языке",
  "segments": [
    {
      "text": "привет мир",
      "start": 0.32,
      "end": 1.45
    },
    {
      "text": "это тест распознавания речи",
      "start": 1.78,
      "end": 3.12
    },
    {
      "text": "на русском языке",
      "start": 3.45,
      "end": 4.23
    }
  ],
  "language": "ru"
}

Сравните это с выводом Whisper через Python API. Там нужно отдельно запрашивать сегменты, конвертировать таймстампы, бороться с разными форматами. Здесь же все сразу, готово для вставки в субтитры (SRT/VTT) или анализа в локальном RAG-пайплайне.

Производительность: цифры, а не маркетинг

Тестировал на трех конфигурациях (февраль 2026):

Для сравнения: Whisper Large v3 на том же CPU обрабатывает минуту аудио за 12-15 секунд. Выигрыш в 1.5-2 раза. И это без учета того, что Whisper не дает выравнивания из коробки.

Альтернативы? Есть, но с нюансами

Почему не Whisper.cpp? Технически, это прямой конкурент. Но на февраль 2026 Whisper.cpp:

• Не поддерживает Qwen3-ASR (только свои модели)
• Для выравнивания нужны дополнительные скрипты на Python
• Менее гибкая система флагов и выходных форматов

Почему не оригинальный Qwen3-ASR через PyTorch? Попробуйте установить torch, torchaudio, transformers и зависимости. Теперь представьте, что нужно развернуть это на продакшн-сервере без интернета. ChatLLM.cpp - один бинарник и файл модели. Копируете на флешку - работает.

Для комплексных задач, где нужна не только транскрипция, но и анализ текста, посмотрите голосового ассистента на одной видеокарте. Там STT - только первый шаг.

Кому это реально нужно? Три сценария

Журналисты и исследователи. Записали 20 интервью по часу каждое. Нужно быстро получить текстовую расшифровку с таймкодами. Облачные сервисы стоят дорого и отправляют записи непонятно куда. Локальное решение обрабатывает все на своем ноутбуке, конфиденциально.

Разработчики медиа-приложений. Делаете платформу для подкастов с автоматическими субтитрами. Аренда серверов с GPU для Whisper влетает в копеечку. ChatLLM.cpp + Qwen3-ASR запускается на CPU, масштабируется на дешевые инстансы.

Лингвисты и филологи. Анализируете диалекты или разговорную речь. Нужно не просто текст, а точное соответствие слов и времени произнесения. Встроенное выравнивание дает готовые данные для статистики пауз, темпа речи. Кстати, о сравнении моделей для диалектов есть отдельный разбор Whisper vs Wav2Vec2.

Подводные камни (да, они есть)

Модель обучена в основном на «чистой» речи. Шумные записи с улицы, многоголосие, сильный акцент - точность падает. Но это проблема всех современных STT систем, даже коммерческих.

Поддержка 52 языков не означает одинаковое качество для всех. Русский и английский работают отлично. Редкие языки с малым количеством тренировочных данных - хуже. Всегда проверяйте на своем материале.

Формат GGUF не позволяет дообучать модель. Хотите fine-tuning под специфический акцент или терминологию? Придется использовать оригинальный PyTorch checkpoint и конвертировать заново. Не самое простое занятие.

Что дальше? Будущее локальной обработки аудио

На февраль 2026 уже видна тенденция: разработчики бегут от облаков обратно на локальные машины. Причины - цена, приватность, независимость от интернета. ChatLLM.cpp с поддержкой Qwen3-ASR - яркий пример.

Ожидайте, что к концу 2026 появятся:

• Еще более компактные модели (500M параметров) с сопоставимой точностью
• Встроенная поддержка шумоподавления и разделения голосов прямо в пайплайне
• Интеграция с локальными LLM для семантического анализа транскриптов

Совет напоследок: не зацикливайтесь на одной модели. Качайте разные квантзации Qwen3-ASR (q4_k_m, q5_k_m, q8_0) и тестируйте на своих данных. Разница в размере файла может быть 2-3 раза, а падение точности - минимальным. Особенно если у вас ограниченное дисковое пространство (например, в embedded системах).

И главное - попробуйте. Скачайте бинарник, найдите любой WAV файл и запустите. От момента «хм, интересно» до работающей транскрипции пройдет 10 минут. В эпоху, когда даже простые API стоят денег, такая простота бесценна.