Multi-modal RAG 2024: как заставить ИИ работать с текстом, картинками и видео одновременно

Проблема: Почему обычный RAG уже недостаточно?

Традиционные RAG (Retrieval-Augmented Generation) системы совершили революцию в работе с текстовыми данными. Они позволяют ИИ отвечать на вопросы, используя внешние источники информации, что решает проблему "галлюцинаций" и ограниченности знаний модели. Но мир не состоит только из текста.

Представьте себе:

• Медицинский ассистент, который анализирует рентгеновские снимки, историю болезни (текст) и аудиозаписи консультаций
• Юридическая система, работающая с договорами (текст), подписями (изображения) и видеозаписями встреч
• Образовательная платформа, где студент задает вопрос по учебнику (текст), схеме (изображение) и лекции (видео)

Решение: Единое векторное пространство для всех модальностей

Мультимодальный RAG решает эту проблему через создание единого семантического пространства, где векторы текста, изображений, аудио и видео сравниваются между собой. Это позволяет:

1. Кросс-модальный поиск: Найти изображение по текстовому запросу или текст по видеозаписи
2. Мультимодальный контекст: Использовать информацию из разных источников для генерации ответа
3. Единый интерфейс: Работать с разными типами данных через один API

Архитектура мультимодальной RAG системы

Современная архитектура состоит из трех ключевых компонентов:

1Шаг 1: Подготовка и обработка данных

Первый шаг — преобразование всех типов данных в векторные представления. Вот как это работает для разных форматов:

Текст

Используем стандартные текстовые энкодеры, но важно согласовать размерность векторов с другими модальностями.

from sentence_transformers import SentenceTransformer

# Загружаем модель, совместимую с CLIP для единого пространства
text_encoder = SentenceTransformer('sentence-transformers/clip-ViT-B-32-multilingual-v1')
text_vector = text_encoder.encode("Пример текста для индексации")
print(f"Размерность вектора: {text_vector.shape}")

Изображения

CLIP (Contrastive Language-Image Pre-training) — золотой стандарт для изображений. Он обучался на парах "изображение-текст", что позволяет сравнивать их в одном пространстве.

import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

image = Image.open("example.jpg")
inputs = processor(images=image, return_tensors="pt")
image_features = model.get_image_features(**inputs)
image_vector = image_features.detach().numpy()

Видео

Видео обрабатываем как последовательность кадров + аудиодорожка:

import cv2
import numpy as np
from moviepy.editor import VideoFileClip

# Извлекаем ключевые кадры
def extract_key_frames(video_path, interval=30):
    cap = cv2.VideoCapture(video_path)
    frames = []
    frame_count = 0
    
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        if frame_count % interval == 0:
            # Конвертируем BGR в RGB
            rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            frames.append(Image.fromarray(rgb_frame))
        frame_count += 1
    
    cap.release()
    return frames

# Обрабатываем каждый кадр через CLIP
video_frames = extract_key_frames("video.mp4")
video_vectors = [encode_image(frame) for frame in video_frames]
# Усредняем векторы для всего видео
video_vector = np.mean(video_vectors, axis=0)

Аудио

Для аудио используем Whisper для транскрипции + энкодер для векторного представления:

import whisper
from transformers import Wav2Vec2Processor, Wav2Vec2Model
import librosa

# Вариант 1: Через транскрипцию
model_whisper = whisper.load_model("base")
result = model_whisper.transcribe("audio.mp3")
text = result["text"]
# Затем векторизуем текст как обычно

# Вариант 2: Прямое векторное представление аудио
audio, sr = librosa.load("audio.mp3", sr=16000)
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")
model_audio = Wav2Vec2Model.from_pretrained("facebook/wav2vec2-base-960h")

inputs = processor(audio, sampling_rate=sr, return_tensors="pt")
with torch.no_grad():
    audio_features = model_audio(**inputs).last_hidden_state
# Усредняем по временной оси
audio_vector = torch.mean(audio_features, dim=1).numpy()

2Шаг 2: Хранение и индексация векторов

Выбор векторной базы данных критически важен. Современные решения поддерживают мультимодальность:

import weaviate
from weaviate.classes.config import Property, DataType

# Подключаемся к Weaviate (поддерживает мультимодальность из коробки)
client = weaviate.connect_to_local(
    host="localhost",
    port=8080,
)

# Создаем класс для хранения мультимодальных данных
client.collections.create(
    name="MultimodalDocuments",
    properties=[
        Property(name="content_type", data_type=DataType.TEXT),
        Property(name="original_path", data_type=DataType.TEXT),
        Property(name="text_content", data_type=DataType.TEXT),
    ],
    vectorizer_config=weaviate.classes.config.Configure.Vectorizer.none(),  # Используем свои векторы
)

collection = client.collections.get("MultimodalDocuments")

# Добавляем объект с вектором
with collection.batch.dynamic() as batch:
    batch.add_object(
        properties={
            "content_type": "image",
            "original_path": "/path/to/image.jpg",
            "text_content": "Описание изображения для полнотекстового поиска",
        },
        vector=image_vector.tolist()  # Наш вектор из CLIP
    )

3Шаг 3: Поиск и извлечение релевантного контента

Когда пользователь задает вопрос, мы:

1. Определяем тип запроса (текст, изображение, голос)
2. Векторизуем запрос в том же пространстве
3. Ищем похожие векторы независимо от их исходного типа

def multimodal_search(query, query_type="text", top_k=5):
    """Поиск по всем типам контента"""
    
    # Векторизуем запрос
    if query_type == "text":
        query_vector = text_encoder.encode(query)
    elif query_type == "image":
        # Если запрос - изображение (поиск похожих картинок)
        query_vector = encode_image(query)
    else:
        raise ValueError(f"Unsupported query type: {query_type}")
    
    # Выполняем поиск
    response = collection.query.near_vector(
        near_vector=query_vector.tolist(),
        limit=top_k,
        return_metadata=weaviate.classes.query.MetadataQuery(distance=True)
    )
    
    # Возвращаем результаты с разными типами контента
    results = []
    for obj in response.objects:
        results.append({
            "content_type": obj.properties["content_type"],
            "path": obj.properties["original_path"],
            "text": obj.properties["text_content"],
            "score": 1 - obj.metadata.distance  # Конвертируем расстояние в схожесть
        })
    
    return results

4Шаг 4: Генерация ответа с помощью мультимодальной LLM

Здесь в игру вступают модели вроде GPT-4V или LLaVA, которые могут понимать и генерировать ответы на основе разных типов данных:

from openai import OpenAI
import base64

client = OpenAI()

def generate_multimodal_response(query, search_results):
    """Генерируем ответ на основе найденных мультимодальных данных"""
    
    # Подготавливаем контекст из разных источников
    context_parts = []
    images_for_llm = []
    
    for result in search_results:
        if result["content_type"] == "text":
            context_parts.append(f"Текст: {result['text']}")
        elif result["content_type"] == "image":
            # Для изображений добавляем описание и готовим для LLM
            context_parts.append(f"Изображение: {result['text']}")
            # Кодируем изображение в base64 для GPT-4V
            with open(result["path"], "rb") as img_file:
                encoded_image = base64.b64encode(img_file.read()).decode('utf-8')
                images_for_llm.append({
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/jpeg;base64,{encoded_image}"
                    }
                })
    
    context = "\n\n".join(context_parts)
    
    # Формируем промпт с мультимодальным контекстом
    messages = [
        {
            "role": "system",
            "content": "Ты - мультимодальный ассистент. Отвечай на вопросы, используя предоставленный контекст из текста и изображений."
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": f"Вопрос: {query}\n\nКонтекст:\n{context}\n\nОтветь на вопрос, используя информацию из контекста."},
                *images_for_llm  # Добавляем изображения, если есть
            ]
        }
    ]
    
    # Для текстовых запросов без изображений
    if not images_for_llm:
        response = client.chat.completions.create(
            model="gpt-4-turbo",
            messages=messages,
            temperature=0.7
        )
    else:
        # Для запросов с изображениями
        response = client.chat.completions.create(
            model="gpt-4-vision-preview",
            messages=messages,
            max_tokens=1000
        )
    
    return response.choices[0].message.content

Практические примеры применения

Пример 1: Медицинский диагностический ассистент

Система анализирует:

• Текст: История болезни, симптомы, лабораторные результаты
• Изображения: Рентген, МРТ, КТ снимки
• Аудио: Записи жалоб пациента

Векторизуем все данные через специализированные медицинские энкодеры (например, BioCLIP для изображений), храним в единой базе, ищем похожие случаи и генерируем рекомендации.

Пример 2: Юридический исследовательский инструмент

Работа с:

• Текст: Договоры, законы, судебные решения
• Изображения: Подписи, печати, схемы
• Видео: Записи судебных заседаний

Система может найти прецеденты по визуальным признакам (например, схема мошеннической схемы) или сопоставить подписи на документах.

Типичные ошибки и как их избежать

Инструменты и технологии 2024

• Модели: GPT-4V, LLaVA-NeXT, Gemini Pro Vision, BLIP-2
• Энкодеры: CLIP, ImageBind (от Meta), Whisper
• Векторные БД: Weaviate (лучшая поддержка мультимодальности), Pinecone, Qdrant
• Фреймворки: LangChain, LlamaIndex (добавили мультимодальную поддержку)
• Для локального развертывания: Рассмотрите офлайн-ИИ модели типа LLaVA или MiniGPT-4

FAQ: Часто задаваемые вопросы

1. Насколько дорого стоит развернуть мультимодальный RAG?

Стоимость зависит от масштаба. Для стартапа: $200-500/мес за облачные сервисы. Для enterprise: от $5000/мес. Основные затраты: инференс больших моделей (GPT-4V) и хранение векторов.

2. Можно ли сделать полностью локальное решение?

Да, используя LLaVA (7-13B параметров) для визуального понимания, Sentence Transformers для текста и локальную векторную БД (ChromaDB). Понадобится GPU с 16-24GB памяти.

3. Как оценить качество мультимодального поиска?

Используйте метрики:

• MRR (Mean Reciprocal Rank) для релевантности
• Кросс-модальное precision@k
• Человеческая оценка качества ответов

4. Что делать, если нет размеченных пар "текст-изображение" для обучения?

Используйте:

1. Предобученные модели (CLIP уже обучен на 400M пар)
2. Слабый супервизион: автоматическую генерацию описаний через BLIP
3. Активное обучение с минимальным человеческим вмешательством

Заключение

Мультимодальный RAG перестал быть академическим исследованием и стал практическим инструментом. В 2024 году барьеры для входа значительно снизились благодаря:

• Появлению открытых мультимодальных моделей
• Улучшению векторных баз данных
• Стандартизации API и инструментов

Начните с простого пилотного проекта — обработайте смешанный набор документов (PDF со схемами + изображения + текстовые отчеты). Используйте CLIP для векторизации, Weaviate для хранения и GPT-4V для генерации ответов. Через 2-3 недели у вас будет работающий прототип, который можно масштабировать.

Как и в случае с созданием игр с ИИ, ключ к успеху — итеративный подход и тестирование на реальных данных.

Мультимодальный RAG — это не будущее, а настоящее. Компании, которые освоят эту технологию в 2024-2025 годах, получат значительное конкурентное преимущество в анализе данных и автоматизации сложных задач.