LFM3-VL-2B это видеомодель LiquidAI для описания видео в реальном времени: она смотрит на поток кадров и выдаёт текстом, что происходит в сцене. Запускается локально, прямо в браузере, через WebGPU. Материалы модели собраны в коллекции LiquidAI/lfm3 на Hugging Face, демо опубликовало сообщество WebML на Hugging Face Spaces, пространство называется webml-community/LFM3-VL-2B-WebGPU. Оба адреса есть в анонсе на r/LocalLLaMA.
Video captioning переводится буквально: подпись к видео. На практике это короткие фразы про объекты и действия, «человек в красной куртке идёт по улице», «на столе стоит чашка и ноутбук», «машина поворачивает направо». Модель не пересказывает сюжет фильма и не строит хронологию на десятки минут. Она описывает то, что видит в кадре сейчас.
Число 2B в названии задаёт масштаб: около двух миллиардов параметров. Это компактный класс моделей под потребительское железо, не под дата-центр. Отсюда главный компромисс: запуск без установки софта и без сервера в обмен на качество описаний ниже, чем у крупных облачных видеомоделей.
Что такое LFM3-VL-2B и что она умеет
Модель выпустила LiquidAI. Публично раскрыт факт real-time video captioning и запуска в браузере на WebGPU. Деталей архитектуры, лицензии и полного списка задач в доступных материалах нет, поэтому разбора слоёв и токенизатора здесь не будет: их попросту не показали. Обозначение VL в названии традиционно указывает на vision-language класс, то есть модель принимает визуальный вход и текст.
Схема работы в общем виде такая: кадры с камеры или из видеофайла попадают в модель, модель возвращает текст. Сколько именно кадров в секунду она обрабатывает и как устроен препроцессинг, в источниках не раскрыто. Практический вывод простой: на выходе поток коротких подписей, а не готовый монтажный лист.
Real-time video captioning: что это на практике
«Реальное время» здесь означает режим, в котором описание появляется по ходу просмотра, а не после обработки файла целиком. Вы наводите камеру на стол, через секунду видите «на столе ноутбук и чашка». В кадр входит человек, подпись меняется на «человек в тёмной куртке стоит у стола».
Покадровое описание и анализ длинного видео решают разные задачи. Первое отвечает на вопрос «что видно сейчас». Второе требует памяти о прошлых сценах, поиска по таймлайну и связывания событий: кто вошёл, что изменилось, чем всё закончилось. У компактной модели в браузере такого аппарата нет, и ждать от неё пересказа часовой записи не стоит.
Ещё один нюанс: подпись это не разметка с координатами. Модель говорит словами, а не рисует рамки вокруг объектов, поэтому для трекинга и подсчёта посетителей её пришлось бы дополнять отдельным детектором. Таких функций в описании модели нет.
Где лежат модель и демо: Hugging Face и WebML community
Адресов два. Первый: коллекция LiquidAI/lfm3 на Hugging Face, там собраны материалы модели. Второй: пространство webml-community/LFM3-VL-2B-WebGPU на Hugging Face Spaces, это и есть демо. Hugging Face Spaces это хостинг приложений, которые открываются по ссылке в браузере, без локальной установки.
Демо выложило сообщество WebML, а не сама LiquidAI. Для оценки статуса это важно: перед нами экспериментальная витрина технологии, а не продукт с SLA, поддержкой и гарантией стабильности. Если демо однажды перестанет открываться, искать виноватого будет бессмысленно.
Как открыть демо и проверить капшенинг в браузере
Порядок действий короткий:
- Откройте страницу пространства webml-community/LFM3-VL-2B-WebGPU на Hugging Face Spaces. Прямая ссылка есть в анонсе.
- Дождитесь загрузки модели. Первый запуск идёт дольше: браузер скачивает веса.
- Разрешите доступ к камере или загрузите короткий видеофайл, если интерфейс это позволяет.
- Сравните текст на экране с тем, что видите в кадре: объекты, действия, изменения.
Интерфейс демо в источниках не описан, поэтому названия кнопок и набор опций могут отличаться от ожиданий. Ориентируйтесь на логику: вход с камеры или файла, кнопка запуска, поле с текстом.
Что подготовить перед запуском
- Десктопный браузер с поддержкой WebGPU. Chrome и Edge это типичный ориентир для таких демо, но точный список версий в материалах по модели не указан: сверяйте с актуальной документацией WebGPU.
- Дискретная видеокарта или мощный встроенный графический чип. На старом ноутбуке с интегрированной графикой чудес ждать не стоит.
- Стабильный интернет на первый запуск: веса скачиваются по сети.
- Разрешение на камеру, если хотите проверить живой поток. Для видеофайла доступ не нужен.
- Закрытые тяжёлые вкладки и игры: они конкурируют за ту же GPU.
Мобильные браузеры и старые версии десктопных попадают в зону риска. WebGPU там может отсутствовать или работать нестабильно.
Что ожидать от капшенинга: реалистичные примеры
Типичный вывод: короткие фразы про объекты и действия, общий смысл сцены. «Мужчина сидит за ноутбуком», «на улице дождь, люди с зонтами». Мелкие детали проваливаются: цвет обуви, надпись на кружке, точное число предметов на столе.
При быстрой смене сцен подписи отстают и пропускают моменты. Задержка между кадром и текстом есть всегда, её величина зависит от GPU. Формулировки упрощённые: модель описывает, что видит, без рассуждений о причинах и последствиях. Это компактный капшенер, а не аналитик видео.
WebGPU: почему модель вообще работает в браузере
WebGPU это браузерный API, который даёт веб-странице доступ к GPU для вычислений, а не только для отрисовки картинки. Инференс LFM3-VL-2B идёт на видеокарте пользователя, поэтому сервер в расчётах не участвует и устанавливать ничего не нужно.
Технология относительно новая. Поддержка зависит от браузера, операционной системы и драйверов, а не только от модели GPU. Как WebGPU соотносится с WASM-подходом и что даёт выбор dtype для весов, разбираем в материале про Transformers.js v3: там же объясняется, почему не каждая модель переносится в браузер без потерь.
WebGPU поддержка браузеров: как проверить у себя
Самый быстрый тест: открыть демо и посмотреть, начинается ли загрузка модели и появляется ли текст. Если браузер не умеет WebGPU, инференс не запустится или страница покажет ошибку.
Второй способ без демо: ввести в консоли разработчика navigator.gpu и посмотреть на результат. Значение undefined означает, что WebGPU в этом браузере недоступен или отключён в настройках. Перед проверкой обновите браузер и драйверы видеокарты, это снимает заметную часть проблем с запуском.
Требования к железу: GPU, драйверы, память
Официальных требований к VRAM и GPU для LFM3-VL-2B в доступных материалах нет. Любые точные цифры в гигабайтах были бы выдумкой. Ориентиры общего характера: два миллиарда параметров это заметно меньше крупных видеомоделей, но браузерный инференс нагружает GPU всё время, пока идёт поток кадров.
- Дискретная видеокарта: основной сценарий, на ней шансы увидеть плавный капшенинг выше.
- Встроенная графика и карты прошлых поколений: работа возможна, но с просадками.
- Нехватка видеопамяти: ошибки запуска или падение скорости.
- Устаревшие драйверы: частая причина, по которой WebGPU не стартует.
Масштаб нагрузки помогают оценить соседние браузерные эксперименты. Bonsai-27B с 27 млрд параметров в Chrome выдаёт 25-30 токенов/с на RTX 3060 Laptop с 6 ГБ VRAM, этот запуск мы разбирали отдельно. Разница в размере модели не отменяет общего правила: браузерный инференс упирается в видеокарту пользователя.
Локальный запуск в браузере против облачных видеомоделей
Сравнивать стоит по осям, которые реально влияют на выбор.
| Ось | Локально в браузере | Облачная видеомодель |
|---|---|---|
| Приватность | Кадры обрабатываются на устройстве пользователя | Кадры уходят на сервер провайдера |
| Стоимость | Нет оплаты за вызовы, есть нагрузка на своё железо | Оплата за запросы и трафик |
| Задержка | Нет сетевого раунд-трипа, скорость зависит от GPU | Сеть, очередь и инференс на стороне сервиса |
| Качество | Компактный капшенер на 2B параметров | Крупные модели обычно точнее в деталях |
| Удобство | Браузер и WebGPU, установка не нужна | API или SDK, работает с любого устройства |
| Масштаб | Один пользователь, одна машина | Много пользователей одновременно |
Приватность и данные: что реально значит «локально»
При инференсе на WebGPU кадры обрабатываются в браузере на GPU пользователя. Сетевой обмен всё же есть: при первом запуске браузер скачивает веса модели с Hugging Face. Этот трафик касается модели, а не вашего видео.
В описании демо заявлена работа без отправки данных на сервер. Независимого подтверждения этому в доступных материалах нет: в источнике явно указано наличие браузерного демо на WebGPU, и только. Проверить можно самостоятельно, открыв вкладку Network в инструментах разработчика и посмотрев, уходят ли куда-то медиаданные во время работы.
Когда облачная видеомодель всё же лучше
- Нужен разбор длинного видео с таймлайном и связью событий.
- Важна точность в мелких деталях: текст в кадре, количество объектов, лица.
- Нужны сложные сцены и качественные формулировки на разных языках.
- Железо пользователя слабое, а результат нужен быстро и стабильно.
- Сервис должен обслуживать много пользователей одновременно.
Вывод по разделу: браузерный капшенинг закрывает приватность, отсутствие установки и быстрый эксперимент. Максимальное качество он не даёт и крупные облачные видеомодели не заменяет.
Ограничения LFM3-VL-2B: что компактная модель не умеет
Два миллиарда параметров это компактный масштаб. Отсюда следует набор ограничений, которые стоит принять до запуска.
- Описания уступают по детализации крупным моделям: общий смысл сцены есть, нюансов мало.
- Мелкие объекты и быстрые события пропускаются.
- Формулировки упрощённые, без рассуждений о причинах и последствиях.
- Работа зависит от WebGPU, браузера и драйверов, а не только от самой модели.
Количественных бенчмарков качества и скорости LFM3-VL-2B в доступных материалах нет. В анонсе описан сам факт запуска в браузере, без метрик. Любые числа в духе «столько-то FPS» или «такая-то точность» были бы выдумкой, поэтому мы их не приводим.
Качество описаний: чего ждать и чего не ждать
Ждать: короткие описания объектов и действий, общий смысл сцены, узнавание типовых ситуаций вроде «человек за столом» или «улица с машинами». Не ждать: точного подсчёта предметов, чтения мелкого текста в кадре, понимания причинно-следственных связей, устойчивой работы на быстрых динамичных сценах со сменой планов.
Оговорка: это оценка класса компактных моделей, а не результат тестирования конкретной LFM3-VL-2B. Отдельного публичного замера качества в материалах нет, поэтому границы возможностей проверяйте на своих примерах через демо.
Скорость и задержка: от чего зависит
На скорость влияют класс GPU, версия драйвера, браузер, разрешение и частота кадров, общая загрузка системы. «Real-time» в названии описывает режим работы, а не гарантию конкретного FPS на любом железе.
Если в интерфейсе есть настройки, снижение разрешения и частоты кадров обычно помогает вытянуть задержку. Если настроек нет, остаётся закрыть лишние приложения и проверить, не упирается ли система в видеопамять.
Кому и зачем нужен видео-капшенинг в браузере
Сценарии с оговорками:
- Быстрый прототип без установки Python, CUDA и зависимостей.
- Видео с камеры, которое не хочется отправлять в чужое облако.
- Описания и подсказки для доступности в простых случаях.
- Мониторинг сцены на домашнем ПК: «что происходит в комнате».
- Демонстрации и обучение: показать, как выглядит капшенинг вживую.
Каждый пункт упирается в ограничение: качество 2B-модели, зависимость от WebGPU и отсутствие официальных требований к железу.
Быстрый эксперимент без установки софта
Демо на Hugging Face Spaces открывается по ссылке. Не нужны Python, CUDA, виртуальные окружения и десятки гигабайт на диске. Для первой оценки хватит нескольких минут с камерой или коротким видео.
Похожий порог входа у другого браузерного проекта: кодинг-агент на Pi и MiniCPM5-2B с теми же 2B параметров работает целиком на WebGPU, о нём мы писали здесь. Оба случая показывают тренд: компактные модели переезжают в браузер, и проверка занимает минуты, а не вечер на настройку.
Приватность и офлайн-сценарии
Локальный инференс в браузере снижает риск утечки видео через сторонние API: кадры не покидают машину в процессе работы. Это аргумент для домашних камер, рабочих записей и всего, что не хочется выкладывать наружу.
Полностью офлайн сценарий требует отдельной проверки. Первая загрузка весов идёт по сети, а будет ли модель закэширована браузером для повторного запуска без интернета, в материалах не описано. Проверять стоит опытом: отключить сеть после загрузки и посмотреть, продолжится ли инференс.
Итог: стоит ли пробовать LFM3-VL-2B на WebGPU
LFM3-VL-2B это наглядный пример того, как видео-капшенинг уходит в браузер. Модель LiquidAI описывает видео в реальном времени, а демо сообщества WebML позволяет проверить это без установки софта, на своём железе и со своими данными.
Пробовать стоит, если у вас дискретная видеокарта, актуальный браузер и интерес к локальным AI-системам. Ещё один повод: задачи, где видео не должно уходить в облако. Не стоит рассчитывать на замену продакшн-видеоаналитике, тонкий разбор деталей или работу на слабом ноутбуке.
Следующий шаг: открыть пространство webml-community/LFM3-VL-2B-WebGPU на Hugging Face Spaces и посмотреть коллекцию LiquidAI/lfm3 на Hugging Face. Заодно полезно сравнить с другим браузерным запуском от той же Liquid AI: decision-модель d1-omni-600M в нашем разборе обрабатывает комментарий за 180 мс, и это показывает, насколько разные задачи уже решаются на WebGPU.