Как создать real-time переводчик объектов с камеры на Gemma-4-E4B-it: пошаговая сборка

Зачем таскать смартфон, если камера ноутбука видит все?

В 2026 году показывать пальцем на объект и шептать "как это по-английски?" - это как пытаться завести машину кривошипом. Все уже давно ждут, когда камера сама увидит и переведет. Проблема в том, что большинство готовых решений - это тяжелые облачные API или детские игрушки с ограниченным словарем.

Решение - мультимодальная модель, которая понимает картинки и говорит на языках. Gemma-4-E4B-it от Google, актуальная на апрель 2026, - именно такая. Она легче монстров вроде GPT-5, но достаточно умна, чтобы описать сцену и перевести названия объектов в реальном времени. И самое главное - она работает локально.

1Готовим окружение: Python, камера и модель

Первое, что ломает 90% туториалов - они забывают сказать, что некоторые библиотеки в 2026 году конфликтуют как кошки с собаками. Мы будем использовать изолированное окружение.

# Создаем виртуальное окружение и активируем
python -m venv gemma_cam_env
source gemma_cam_env/bin/activate  # Для Windows: gemma_cam_env\Scripts\activate

# Ставим ключевые библиотеки с точными версиями
pip install torch==2.4.0 torchvision==0.19.0 --index-url https://download.pytorch.org/whl/cu124  # Для CUDA 12.4
pip install transformers==4.45.0 accelerate==0.31.0
pip install opencv-python==4.10.0 pillow==11.0.0
pip install gradio==4.36.0  # Для быстрого интерфейса

2Загружаем модель и готовим пайплайн

Не пытайтесь скачать модель с первого попавшегося хаба. Google выложил официальную версию Gemma-4-E4B-it в своем AI Gallery. Но для удобства мы используем Hugging Face.

from transformers import AutoProcessor, AutoModelForVision2Seq
import torch

# Загружаем процессор и модель
model_id = "google/gemma-4-e4b-it"  # Актуальный идентификатор на 09.04.2026
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForVision2Seq.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)
model.eval()  # Переводим в режим инференса

Параметр trust_remote_code=True - это не опция, а необходимость. Без него модель просто не загрузится, потому что у Gemma-4 свой собственный код для обработки изображений и текста. (Да, это бесит, но что поделать).

3Пишем код захвата и анализа кадра

OpenCV здесь - наш старый добрый друг. Но есть нюанс: Gemma-4-E4B-it ожидает изображения в определенном формате. Нельзя просто скормить ей сырой массив из камеры.

import cv2
from PIL import Image

def capture_and_process_frame(cap, target_language="Russian"):
    """
    Захватывает кадр, запускает модель и возвращает переведенный текст.
    """
    ret, frame = cap.read()
    if not ret:
        return "Ошибка захвата кадра"
    
    # Конвертируем BGR (OpenCV) в RGB (PIL)
    rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    pil_image = Image.fromarray(rgb_frame)
    
    # Готовим промпт. Чем конкретнее, тем лучше.
    prompt = f"""Describe the main objects in this image. List their names and translate them to {target_language}. Be concise.
    Answer format: Object: [translation]"""
    
    # Обрабатываем изображение и текст
    inputs = processor(text=prompt, images=pil_image, return_tensors="pt")
    inputs = {k: v.to(model.device) for k, v in inputs.items()}
    
    # Генерация ответа
    with torch.no_grad():
        generated_ids = model.generate(**inputs, max_new_tokens=100)
    
    # Декодируем ответ, пропуская промпт
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
    # Убираем оригинальный промпт из ответа
    answer = generated_text.replace(prompt, "").strip()
    
    return answer

Видите этот промпт? Он выглядит простым, но это результат трех часов проб и ошибок. Если написать просто "translate objects", модель начнет философствовать о смысле бытия. Нужно жестко ограничивать формат вывода.

4Собираем реальный поток и интерфейс

Теперь главная задача - сделать так, чтобы система не зависала на каждом кадре. Мы не можем отправлять в модель 30 кадров в секунду. Решение - семплирование (берем каждый N-ый кадр) и кеширование результатов для похожих сцен.

import time
from collections import deque

def run_realtime_translation(source=0, frame_skip=10, target_lang="Russian"):
    cap = cv2.VideoCapture(source)
    if not cap.isOpened():
        print("Камера не открывается. Проверьте номер устройства.")
        return
    
    frame_count = 0
    last_translation = ""
    translation_cache = deque(maxlen=5)  # Кеш последних переводов
    
    print("Запуск перевода. Нажмите 'q' для выхода.")
    
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        
        frame_count += 1
        display_frame = frame.copy()
        
        # Обрабатываем только каждый N-ый кадр для производительности
        if frame_count % frame_skip == 0:
            try:
                translation = capture_and_process_frame(cap, target_lang)
                translation_cache.append(translation)
                last_translation = translation
            except Exception as e:
                print(f"Ошибка модели: {e}")
                last_translation = "Ошибка обработки"
        
        # Выводим текст на кадр
        y0, dy = 30, 30
        lines = last_translation.split('\n')
        for i, line in enumerate(lines):
            y = y0 + i*dy
            cv2.putText(display_frame, line, (10, y), 
                       cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2)
        
        cv2.imshow('Real-time Object Translator', display_frame)
        
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    cap.release()
    cv2.destroyAllWindows()

Параметр frame_skip=10 - это компромисс между скоростью и точностью. На RTX 4070 можно поставить 5. На более слабом железе - 15 или 20. Система будет пропускать кадры, но зато не превратится в слайд-шоу.

Где все ломается: пять ошибок, которые вы сделаете

• Ошибка 1: Забыли model.eval(). Модель в режиме обучения использует в 3 раза больше памяти и выдает рандомный бред.
• Ошибка 2: Пытаетесь кормить в модель изображения напрямую с камеры без ресайза. Gemma-4-E4B-it ожидает разрешение 224x224 или 336x336. Добавьте в функцию обработки: pil_image = pil_image.resize((336, 336)).
• Ошибка 3: Не очищаете кеш CUDA между запросами. Через 10 минут работы у вас закончится память. Добавьте torch.cuda.empty_cache() в цикл после каждых 20 обработанных кадров.
• Ошибка 4: Используете старый промпт из туториалов по Gemma-3. Для мультимодальной версии промпт должен явно ссылаться на изображение. Без слова "image" или "this picture" модель проигнорирует картинку.
• Ошибка 5: Запускаете все в Jupyter Notebook. Асинхронный захват видео в ноутбуке почти всегда приводит к deadlock. Используйте обычный Python-скрипт.

А если хочется красиво: Gradio-интерфейс за 15 минут

OpenCV-окно выглядит как инструмент для шпионажа из 90-х. Если нужно показать проект коллегам или заказчику, оберните все в Gradio. Это тот же код, но с веб-интерфейсом.

import gradio as gr

def gradio_translate(image, target_lang):
    """Функция для Gradio"""
    if image is None:
        return "Загрузите изображение"
    prompt = f"List main objects and translate to {target_lang}. Object: [translation]"
    inputs = processor(text=prompt, images=image, return_tensors="pt")
    inputs = {k: v.to(model.device) for k, v in inputs.items()}
    with torch.no_grad():
        generated_ids = model.generate(**inputs, max_new_tokens=150)
    result = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
    return result.replace(prompt, "").strip()

# Создаем интерфейс с веб-камерой
iface = gr.Interface(
    fn=gradio_translate,
    inputs=[
        gr.Image(sources=["webcam"], type="pil"),
        gr.Dropdown(["Russian", "Spanish", "French", "German", "Japanese"], value="Russian")
    ],
    outputs="text",
    title="Gemma-4-E4B-it Object Translator",
    live=True  # Обработка в реальном времени!
)

if __name__ == "__main__":
    iface.launch(server_port=7860, share=True)

Параметр live=True - это магия. Интерфейс будет отправлять новый запрос каждый раз, когда изображение с камеры меняется. Но предупредите пользователей: если они начнут махать руками перед камерой, модель сойдет с ума.

Что делать, если не хватает мощности?

Gemma-4-E4B-it - не самая легкая модель. Если ваш ноутбук 2022 года начинает потеть, есть два пути:

1. Квантование: Используйте bitsandbytes для загрузки модели в 4-битном формате. Замените загрузку модели на:
   model = AutoModelForVision2Seq.from_pretrained(model_id, load_in_4bit=True, device_map="auto"). Это сократит потребление памяти в 2-3 раза с минимальной потерей точности.
2. Оптимизация: Вместо обработки полного кадра, используйте детектор объектов (YOLO или Faster R-CNN) для вырезания только интересующих регионов. Тогда модель будет анализировать не всю сцену, а только найденные объекты. Это сложнее, но в 5 раз быстрее.

Если вы хотите пойти по второму пути, вам пригодится наш гайд по мультимодальному RAG, где подробно разобрана работа с регионами изображений.

Вопросы, которые вы зададите через час работы

И последний совет. Не пытайтесь сделать этот переводчик универсальным ассистентом. Gemma-4-E4B-it - специалист по описанию сцен, но не по переводу длинных текстов. Если вам нужно переводить документы или субтитры, лучше взять TranslateGemma, которая заточена именно под текст. А если хочется запустить что-то подобное на смартфоне в походе, смотрите гайд Off Grid.

Теперь у вас есть система, которая видит мир и говорит на другом языке. Осталось только не забыть, что за окном тоже есть реальный мир, который не требует перевода.

Подписаться на канал