Почему Gemma 4 12B в llama.cpp видит видео, но не слышит аудио: ограничения и рабочие решения

Gemma 4 12B не слышит аудио в llama.cpp: короткий ответ

По имеющимся данным нельзя доказательно утверждать, что Gemma 4 12B получает аудиопоток через llama-server, а затем не умеет его анализировать. Подключённый mmproj и успешная обработка визуальных кадров подтверждают мультимодальный сценарий для изображения или видео, но не доказывают наличие рабочего аудиовхода.

Зафиксирован более узкий случай: в Web UI llama-server вложение .webm отображается до отправки сообщения, а после отправки исчезает. Файл .mp4 в том же сценарии передаётся корректно. По описанию проблемы, переименование файла .webm в .mp4 тоже позволяло ему пройти через интерфейс. Такое поведение наблюдали с Gemma 4 31B и Qwen 3.8 27B, но оно не заменяет отдельную проверку Gemma 4 12B.

Ответ модели о репликах, музыке или звуках ролика тоже не служит доказательством аудиоввода. Если сервер передал только кадры, а в запросе нет звука или транскрипта, Gemma может построить правдоподобную догадку по изображению, тексту запроса и контексту диалога.

Что подтверждено, а что пока нельзя переносить на Gemma 4 12B

Подтверждённые наблюдения описывают передачу вложения через Web UI, а не способности модели слышать видео:

• .webm может быть виден в поле вложения, но пропадать после отправки сообщения;
• .mp4 в описанном случае передаётся модели;
• переименование расширения с .webm на .mp4 меняло поведение интерфейса;
• одинаковая проблема с вложением наблюдалась на Gemma 4 31B и Qwen 3.8 27B;
• описание относится к llama.cpp 0.3.0-dev, build 10689, поэтому результат может зависеть от конкретной сборки.

Эти пункты не отвечают на три отдельных вопроса: декодирует ли сервер аудиодорожку, передаёт ли backend полученные аудиоданные дальше и умеет ли конкретная связка модели с mmproj принимать звук. Для Gemma 4 12B такие свойства нужно проверять отдельно.

Почему ответ модели о звуковой дорожке ещё не является доказательством

Визуальный анализ и анализ аудио дают модели разные сведения. По кадру можно увидеть говорящего человека, сцену в помещении или включённый телевизор. По одному изображению нельзя достоверно узнать произнесённую фразу, мелодию в фоне, хлопок двери или звук двигателя.

Языковая модель способна продолжить диалог правдоподобно. Если промпт содержит подсказку вроде «что говорит человек в ролике», модель может ответить связным текстом даже при отсутствии распознанной речи. Контекст предыдущих сообщений усиливает такой эффект.

Проверка должна включать контрольный фрагмент, где ответ нельзя вывести из кадров. Например, подготовьте два ролика с одинаковой картинкой, но с разными короткими фразами в аудиодорожке. Затем попросите назвать точные слова. Результат нужно сопоставить с заранее известной расшифровкой. Без такого теста утверждение о том, что Gemma услышала ролик, остаётся предположением.

Почему видео может доходить до модели без звуковой дорожки

Контейнер видео, кадры и аудио - это разные уровни обработки

.webm и .mp4 обозначают контейнеры. Внутри контейнера могут находиться видеопоток, одна или несколько аудиодорожек, субтитры и служебные данные. Наличие аудио внутри файла ещё не означает, что приложение его извлекло.

Путь данных обычно выглядит так:

1. Web UI принимает файл и формирует вложение.
2. llama-server проверяет расширение, MIME-тип и допустимый способ передачи.
3. Сервер разбирает контейнер и извлекает кадры, если выбранная связка умеет работать с видео.
4. Аудиодорожка при наличии должна отдельно декодироваться в подходящее представление.
5. Backend и модель должны получить этот формат и обработать его во время инференса.

Сбой на первом или втором этапе объясняет исчезновение .webm до отправки. Сбой на третьем этапе оставляет сервер без кадров. Если не работает четвёртый или пятый этап, визуальная часть может продолжать работать, а звук до модели не дойдёт.

Где заканчивается поддержка видео и начинается отдельная задача аудио

Для кадров достаточно цепочки, которая принимает изображение, преобразует его в визуальные признаки и передаёт их языковой модели. Аудио требует отдельного декодирования, формата признаков или токенов, компонента модели для звука и маршрута передачи через backend.

Поэтому выражение «модель поддерживает видео» может означать несколько разных сценариев:

• сервер принимает контейнер и извлекает из него отдельные кадры;
• интерфейс показывает превью, но в запрос отправляет только текст;
• backend передаёт изображения, однако игнорирует звуковые дорожки;
• модель получает кадры и транскрипт, подготовленный другим инструментом;
• полноценный аудиоввод поддерживается нативно, если это прямо заявлено и подтверждается тестом.

Эти варианты выглядят одинаково в пользовательском интерфейсе. Разница видна в сетевом запросе, логах сервера и контрольном тесте со звуком.

Как распознать неподтверждённое понимание аудио

Попросите модель извлечь сведения, которые не видны в кадрах:

• дословно воспроизвести короткую фразу;
• назвать слово, произнесённое за пределами видимой сцены;
• определить различие между двумя роликами с одинаковыми кадрами и разными звуками;
• указать момент появления звукового события, например хлопка или сигнала;
• отделить речь от музыки и фонового шума.

Один удачный ответ не даёт достаточной проверки. Сопоставьте несколько контрольных фрагментов с эталонной расшифровкой и временными отметками. Если ответы не меняются при замене аудио при одинаковом виде, модель, скорее всего, использует визуальный контекст или текстовую подсказку.

Gemma 4 12B, mmproj и мультимодальный режим llama.cpp: что проверить

Что означает наличие mmproj в запуске

mmproj - это отдельно подключаемый компонент мультимодальной схемы. Его наличие говорит о том, что запуск использует дополнительный модуль для обработки поддерживаемого типа данных. Само имя файла не перечисляет все модальности и не подтверждает наличие аудиоэнкодера.

Проектор может быть рассчитан на визуальную ветку. В таком случае он помогает преобразовать признаки изображения или кадра в представление, которое понимает языковая модель. Для звука нужен отдельный подтверждённый путь: декодирование аудиопотока, подходящий адаптер, поддержка модели и обработка этих данных backend’ом.

Проверяйте совместимость mmproj именно с используемой Gemma 4 12B, её форматом и версией llama.cpp. Успешная загрузка файла в логах подтверждает загрузку компонента, но не доказывает, что через него прошёл звук.

Четыре уровня совместимости

Диагностика быстрее, если разделить её на четыре уровня:

Уровень	Что проверить	Какой результат нужен
Модель и формат	Заявленные типы входа, совместимый формат модели, требования к мультимодальному запуску	Есть явное указание на нужную модальность, а не только на изображения или кадры
mmproj	Соответствие Gemma 4 12B, назначение проектора, сообщения о загрузке	Компонент подходит к конкретной модели и описывает нужный тип входа
llama.cpp и backend	Версия, сборка, декодирование контейнера, обработка аудио, формат API	Сервер принимает аудиоданные и передаёт их в модельный граф
Web UI или API	MIME-тип, поле запроса, размер файла, фактическое тело запроса и логи	Файл не исчезает до обработки, а аудиопоток виден на нужном этапе

Отсутствие подтверждения на одном уровне делает вывод о нативном аудиовводе преждевременным. Менять расширение файла имеет смысл как диагностический эксперимент, но это не добавляет модели аудиоэлементы.

Почему нельзя автоматически переносить результат Gemma 4 31B на Gemma 4 12B

Gemma 4 31B и Gemma 4 12B могут использовать разные файлы модели, шаблоны мультимодального запуска, требования к проектору и ветки backend’а. Даже одинаковое поведение Web UI на двух конфигурациях описывает проблему передачи вложения, а не полный контракт аудиоввода.

Наблюдение с Gemma 4 31B полезно как сигнал проверить Web UI и формат контейнера. Оно не подтверждает, что Gemma 4 12B получает тот же набор данных или использует тот же обработчик. Для 12B нужны собственные логи, запрос и контрольный тест с известным звуком.

Как запустить Gemma 4 12B в llama-server и локализовать проблему

Сначала зафиксируйте одну конфигурацию: точное имя файла модели, используемый mmproj, версию llama.cpp, backend, интерфейс и формат исходного ролика. После каждого изменения меняйте один параметр. Иначе различие между двумя результатами нельзя связать с конкретной причиной.

Начать с отдельного изображения и короткого видео

Проверка должна идти в три шага:

1. Отправьте отдельное изображение через Web UI и попросите перечислить видимые объекты. Это проверяет базовую связку Gemma 4 12B с mmproj.
2. Отправьте короткий ролик в формате .mp4 и задайте вопрос только о визуальном событии, например о порядке смены сцен.
3. Отправьте тот же материал в исходном формате .webm, сохранив промпт и остальные настройки.

Для каждого шага запишите, отображается ли вложение после отправки, появляется ли оно в запросе, что пишет llama-server и какой ответ выдаёт модель. Рабочий ответ по изображению подтверждает визуальный вход. Рабочий ответ по .mp4 подтверждает успешную передачу этого файла в описанном сценарии, но не обработку его аудиодорожки.

Сравнить .webm, .mp4 и переименование расширения

Сделайте три отдельных эксперимента с одним и тем же роликом:

Эксперимент	Что фиксировать	Как трактовать результат
Исходный .webm	Вложение после отправки, MIME-тип, запись в логе	Исчезновение указывает на проблему передачи или фильтрации до модели
Корректный .mp4	Появление файла в запросе и обработку кадров	Различие с .webm указывает на зависимость от формата или интерфейса
Переименованный .webm	Изменение поведения при сохранённых кодеках	Показывает влияние расширения и MIME-определения, но не исправляет контейнер

Переименование меняет имя файла, а не его внутренние кодеки и потоки. Поэтому такой приём полезен для локализации ошибки в Web UI, но не подходит как универсальный способ конвертации видео.

Проверить API-запрос, логи и фактическое содержимое вложения

Откройте инструменты разработчика браузера и найдите сетевой запрос, который создаётся после отправки сообщения. Проверьте MIME-тип, размер тела запроса, имя поля с вложением и наличие самого файла. В логах llama-server ищите факт получения файла, разбор контейнера и сообщения об ошибке декодирования.

Если .webm исчезает ещё до сетевого запроса, проблема находится в Web UI. Если запрос отправляется, но сервер не видит файл, проверяйте формат тела запроса и обработчик вложений. Если сервер принимает контейнер и извлекает кадры, а сведений об аудиодорожке нет, смена интерфейса может не решить задачу.

Сравнение Web UI с прямым API помогает отделить фильтр интерфейса от серверной обработки. При этом успешный API-запрос всё ещё не доказывает нативный аудиоввод: файл мог дойти до сервера, после чего обработчик использовал только видеопоток.

Практические детали запуска через llama-server, включая влияние параметров инференса и конфигурации контекста, можно сопоставить с разбором запуска Qwen 27B через beellama.cpp и llama-server. Для текущей задачи важны не готовые параметры из другого запуска, а сам принцип проверки логов и фактического запроса.

Учитывать конкретную версию сборки

Описанное поведение связывают с llama.cpp 0.3.0-dev, build 10689, и наблюдением, датированным 2026 годом. Web UI, фильтры вложений, обработка контейнеров и мультимодальные backend’ы могли измениться в другой сборке.

Сравнивайте результаты только после фиксации версии и параметров. Запись «работает в llama.cpp» слишком расплывчата: между двумя сборками могут отличаться сервер, интерфейс, формат API и набор поддерживаемых мультимодальных операций.

Рабочее решение для анализа роликов: аудио отдельно, Gemma 4 12B отдельно

Когда нативный аудиоввод не подтверждён, наиболее проверяемая схема разделяет задачи. Инструмент распознавания речи обрабатывает звук, а Gemma 4 12B получает текст транскрипта и визуальный контекст.

Извлечь аудио из видео отдельным инструментом

Сначала проверьте, есть ли в контейнере аудиопоток. Для этого подходит команда уровня FFmpeg:

ffprobe -v error -show_streams input.webm

В выводе ищите поток с типом audio. Извлечь первую аудиодорожку в отдельный WAV-файл можно так:

ffmpeg -i input.webm -map 0:a:0 -vn -ac 1 -ar 16000 -c:a pcm_s16le audio.wav

Параметры одного канала и частоты 16 кГц часто подходят для ASR, но окончательные требования зависят от выбранной Whisper-подобной модели. Если аудиопотока нет, команда сообщит об ошибке, и искать проблему в Gemma бессмысленно.

Для длинных роликов сохраняйте исходный файл и связь между аудио, временными отметками и кадрами. Потеря времени начала дорожки усложнит сопоставление сказанных слов с визуальными событиями.

Расшифровать речь Whisper-подобной моделью

ASR-модель преобразует звук в текст. При включённых временных отметках результат может выглядеть так:

[00:00:03-00:00:08] Спикер: проверьте настройки сервера.
[00:00:09-00:00:14] Спикер: файл передаётся в формате MP4.

Передавайте в Gemma сам текст и его временные интервалы. Такая схема делает источник сведений явным: модель анализирует полученную транскрипцию, а не делает вид, что услышала исходный WAV-файл.

Ошибки ASR зависят от языка, качества записи, шума, нескольких говорящих и перекрывающейся речи. Для критичных выводов храните исходную расшифровку и помечайте фрагменты с низкой уверенностью, если выбранный инструмент предоставляет такую оценку.

Передать в Gemma транскрипт и визуальный контекст

Если визуальный вход через llama-server стабильно работает, передайте видео и приложите транскрипт в текстовом сообщении. Если видео не проходит или его обработка непредсказуема, извлеките отдельные кадры и отправьте их вместе с текстом.

Удобный формат запроса содержит три блока:

Задача: проанализируй содержание ролика.

Транскрипт с временными отметками:
[00:00:03-00:00:08] Спикер: проверьте настройки сервера.
[00:00:09-00:00:14] Спикер: файл передаётся в формате MP4.

Визуальные кадры:
Кадр 1, 00:00:04.
Кадр 2, 00:00:12.

Требования: разделяй факты из кадров и факты из транскрипта; указывай время каждого вывода.

Для длинного ролика разбивайте материал на интервалы, например по 30-120 секунд, если это укладывается в возможности вашего backend’а и контекстное окно. Сначала анализируйте каждый фрагмент, затем передавайте краткие результаты в отдельный запрос для общей сводки.

Ограничения двухмодельной схемы

Внешний ASR-конвейер не равен нативному аудиовводу. Он добавляет отдельный этап, задержку и расход памяти. Ошибка распознавания может попасть в контекст Gemma и повлиять на итоговый вывод.

Транскрипт передаёт речь. Он не описывает автоматически музыку, тембр, интонацию, аплодисменты, выстрел, шум улицы и другие неречевые события. Для таких задач нужен отдельный классификатор звука или ручная проверка исходной дорожки.

Gemma в этой схеме анализирует текст, который подготовила ASR-модель. Если нужны точные выводы о звуковой сцене, храните рядом транскрипт, временные отметки и результаты отдельного анализа неречевых событий.

Когда проблема решается сменой интерфейса, а когда нужна другая связка

Признаки проблемы интерфейса или формата

Начинайте с Web UI и обработки вложений, если наблюдаются такие признаки:

• .webm видно до отправки, но после неё оно исчезает;
• .mp4 с тем же содержимым проходит через интерфейс;
• переименование расширения меняет результат без изменения самого контейнера;
• в сетевом запросе отсутствует файл или указан неожиданный MIME-тип;
• прямой API и Web UI формируют разные запросы;
• в логах нет признака получения вложения.

Такие признаки оправдывают проверку расширения, MIME-типа, тела запроса и версии интерфейса. Они не доказывают, что рабочий .mp4 передаёт звук в Gemma.

Признаки ограничения модели или backend’а

Проверяйте модель, mmproj и backend, если файл стабильно доходит до сервера, кадры обрабатываются, но контрольные тесты со звуком не проходят. Особенно показателен случай, когда два ролика с одинаковыми кадрами и разными фразами получают одинаковый ответ.

На этом этапе ищите явное подтверждение поддержки аудио для конкретной модели, формата, mmproj, backend’а и сборки llama.cpp. Если такого подтверждения нет, смена расширения лишь устраняет возможный барьер передачи файла. Практической заменой служит извлечение аудио, расшифровка Whisper-подобной моделью и передача транскрипта в Gemma.

Смена связки нужна, когда задача требует распознавать музыку, шумы, интонации или точные реплики, а текущий стек подтверждённо работает только с изображениями и текстом. В таком случае выбирайте компонент с заявленным аудиовходом либо оставляйте Gemma для визуального анализа и подключайте специализированные инструменты к звуку.

Итог: что считать рабочим решением для Gemma 4 12B

Для этой ситуации достаточно трёх выводов:

1. Рабочая передача .mp4 не равна обработке аудиодорожки. Вложение может доходить до сервера, после чего в модель отправляются только кадры.
2. Наличие mmproj не гарантирует слуховой вход. Нужно подтвердить совместимость модели, проектора, llama.cpp, backend’а и интерфейса.
3. Для практического анализа роликов надёжнее разделить задачи: извлечь звук, получить транскрипт с временными отметками и передать его в Gemma 4 12B вместе с видео или отдельными кадрами.

Короткий чек-лист перед диагностикой:

• зафиксировать точную сборку llama.cpp и параметры запуска llama-server;
• проверить Gemma 4 12B на отдельном изображении;
• сравнить один и тот же ролик в форматах .mp4 и .webm;
• проверить фактический сетевой запрос, MIME-тип, размер файла и логи;
• провести контрольный тест с одинаковыми кадрами и разными аудиофразами;
• использовать нативный аудиоввод только при наличии подтверждения для конкретной конфигурации;
• при отсутствии такого подтверждения извлечь аудио, расшифровать его и передать транскрипт вместе с визуальным контекстом.

Такой порядок отделяет сбой Web UI от ограничения мультимодального backend’а и не приписывает Gemma 4 12B способность слышать звук без проверяемого аудиоканала.

Подписаться на канал