Классический IDP vs VLM: практическое сравнение на реальных документах с кодом и метриками

Когда классический IDP ломается о реальность

Представьте: вы настроили идеальный пайплайн для обработки документов. Tesseract OCR, регулярные выражения, кастомные парсеры — всё работает как часы. Пока не появляется сканированная накладная с рукописными пометками, таблица с объединёнными ячейками или документ, где ключевая информация спрятана в подписи под печатью.

Классическая Intelligent Document Processing (IDP) строится на предсказуемости. Но реальные документы — это хаос. Разные сканеры, качество бумаги, шрифты, языки, форматы. В 2026 году это не стало проще — стало сложнее, потому что теперь в игру вступили Vision Language Models.

Что мы будем тестировать и зачем

Я взял три типа документов, которые регулярно ломают классические системы:

• Сканированная накладная — среднее качество скана, рукописные цифры в поле "Количество", печать поверх текста
• Таблица с медицинскими показателями — объединённые ячейки, сокращения вместо полных названий, значения в разных единицах измерения
• Договор с рукописными правками — юридический текст с аннотациями на полях, подчеркивания, стрелки

Для классического IDP использовал стандартный стек: Tesseract 5.3.3 (последняя стабильная на февраль 2026), OpenCV для предобработки изображений, Spacy для NER. Для VLM тестировал три варианта:

1 Подготовка классического IDP пайплайна

Сначала сделаем всё «по учебнику». Классический подход:

import cv2
import pytesseract
import re
from typing import Dict, List
import json

def preprocess_image(image_path: str) -> np.ndarray:
    """Базовый пайплайн предобработки"""
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # Убираем шум
    denoised = cv2.fastNlMeansDenoising(gray, h=30)
    # Повышаем контраст
    clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
    enhanced = clahe.apply(denoised)
    return enhanced

def extract_text_with_tesseract(image: np.ndarray) -> str:
    """Извлечение текста с кастомными конфигами"""
    custom_config = r'--oem 3 --psm 6 -l rus+eng'
    text = pytesseract.image_to_string(image, config=custom_config)
    return text

def parse_invoice(text: str) -> Dict:
    """Парсинг накладной регулярками"""
    patterns = {
        'invoice_number': r'Накладная №\s*(\w+-?\d+)',
        'date': r'Дата:\s*(\d{2}\.\d{2}\.\d{4})',
        'total_amount': r'Итого:\s*([\d\s]+,\d{2})',
    }
    
    result = {}
    for key, pattern in patterns.items():
        match = re.search(pattern, text)
        result[key] = match.group(1) if match else None
    
    return result

Проблема в том, что этот код работает только с идеальными документами. Рукописные цифры? Tesseract их не распознаёт. Объединённые ячейки таблицы? Регулярки ломаются. Печать поверх текста? Всё пропало.

2 VLM через Ollama: локальный запуск

Теперь попробуем Llama-3.2-Vision 11B с квантованием Q4_K_M. Устанавливаем Ollama (актуальная версия на февраль 2026 — 0.5.7):

# Установка Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Запуск модели (нужно минимум 12GB VRAM для 11B Q4)
ollama pull llama3.2-vision:11b

# Проверка
ollama list

Код для работы с документом:

import base64
import requests
import json
from pathlib import Path

def encode_image_to_base64(image_path: str) -> str:
    """Кодируем изображение для VLM"""
    with open(image_path, "rb") as image_file:
        encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
    return encoded_string

def ask_vlm_about_document(image_base64: str, question: str) -> str:
    """Запрашиваем у VLM информацию из документа"""
    
    prompt = f"""Ты эксперт по анализу документов. На изображении документ.
Ответь на вопрос максимально точно, используя только информацию из документа.

Вопрос: {question}

Ответ должен быть в формате JSON с ключами: 'answer', 'confidence' (0-100), 'source_location' (где в документе нашли)."""
    
    payload = {
        "model": "llama3.2-vision:11b",
        "prompt": prompt,
        "stream": False,
        "images": [image_base64]
    }
    
    response = requests.post("http://localhost:11434/api/generate", 
                            json=payload,
                            timeout=120)
    
    if response.status_code == 200:
        return response.json()["response"]
    else:
        raise Exception(f"Ошибка VLM: {response.status_code}")

# Пример использования
img_base64 = encode_image_to_base64("invoice.jpg")
result = ask_vlm_about_document(img_base64, 
                               "Какой номер накладной и итоговая сумма?")
print(json.loads(result))

Ключевое отличие: VLM понимает контекст. Она видит, что "№" рядом с цифрами — это номер документа, даже если символ № распознался как "N°" или вообще пропал. Она понимает, что подпись внизу — это не часть таблицы.

3 OpenRouter API: когда нужна тяжёлая артиллерия

Локальные модели хороши для приватности и стоимости, но если нужна максимальная точность — идём в облако. OpenRouter даёт доступ к GPT-4o-mini Vision и другим мощным моделям.

import openrouter
from openrouter import File

client = openrouter.OpenRouter(api_key="your_key_here")

def extract_with_openrouter(image_path: str, schema: dict) -> dict:
    """Извлечение структурированных данных по схеме"""
    
    with open(image_path, "rb") as f:
        file_content = f.read()
    
    completion = client.chat.completions.create(
        model="openai/gpt-4o-mini",
        messages=[
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": f"""Извлеки информацию из документа в следующем JSON формате:\n{json.dumps(schema, indent=2)}"""},
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/jpeg;base64,{base64.b64encode(file_content).decode()}"
                        }
                    }
                ]
            }
        ],
        response_format={"type": "json_object"}
    )
    
    return json.loads(completion.choices[0].message.content)

OpenRouter удобен тем, что можно быстро переключаться между моделями. GPT-4o-mini Vision стоит ~$0.0025 за 1K токенов (цены на февраль 2026), что для большинства бизнес-кейсов дешевле, чем нанимать команду для настройки классического IDP.

Результаты тестирования: цифры не врут

Я проверил 100 документов каждого типа. Метрики:

Цифры говорят сами за себя. Классический IDP быстрый и дёшевый, но точность на сложных документах неприемлема для бизнеса. Особенно страдают таблицы — 45% точности это провал.

Гибридная система: лучшее из двух миров

Вместо выбора «или-или» я рекомендую гибридный подход:

1. Быстрая классификация — определяем тип документа классическими методами (можно даже простым SVM, как в статье про SVM)
2. Простой случай → классический IDP — если документ стандартный и качественный, обрабатываем быстро и дёшево
3. Сложный случай → VLM — если есть рукописные правки, плохое качество скана, нестандартная структура
4. Валидация результата — сравниваем выводы двух систем, если расходятся → отправляем на проверку человеку

Вот архитектура такой системы:

class HybridDocumentProcessor:
    def __init__(self):
        self.classical_pipeline = ClassicalIDP()
        self.vlm_pipeline = VLMPipeline()
        self.classifier = DocumentClassifier()
    
    def process(self, document_path: str) -> Dict:
        # 1. Классификация
        doc_type, confidence = self.classifier.predict(document_path)
        
        # 2. Выбор пайплайна
        if doc_type == "standard" and confidence > 0.9:
            # Простой случай
            result = self.classical_pipeline.extract(document_path)
            
            # Быстрая валидация
            if self._validate_result(result):
                return result
            
        # 3. Сложный случай или failed validation
        vlm_result = self.vlm_pipeline.extract(document_path)
        
        # 4. Сравнение результатов (если классический отработал)
        if 'result' in locals():
            if not self._results_match(result, vlm_result):
                # Расхождение → отправляем на ручную проверку
                self._send_for_human_review(document_path, result, vlm_result)
                return {"status": "needs_review"}
        
        return vlm_result
    
    def _validate_result(self, result: Dict) -> bool:
        """Проверяем, что результат выглядит правдоподобно"""
        # Проверяем обязательные поля
        required_fields = ['invoice_number', 'date', 'total']
        for field in required_fields:
            if field not in result or not result[field]:
                return False
        
        # Проверяем форматы
        if result.get('total'):
            try:
                float(result['total'].replace(',', '.'))
            except ValueError:
                return False
        
        return True

Такая система снижает стоимость обработки в 3-5 раз по сравнению с pure VLM подходом, сохраняя высокую точность.

Ошибки, которые все совершают с VLM

После тестирования сотен документов я выделил топ-3 ошибки:

Что выбрать в 2026 году?

Мои рекомендации основаны на реальных проектах:

• Только классический IDP — если у вас тысячи однотипных документов от одного поставщика с идеальным качеством. Экономия будет существенной.
• Только VLM — если документы все разные, много рукописных правок, или нужна семантическая обработка (например, понять суть жалобы в претензии).
• Гибридный подход — для 90% бизнес-кейсов. Начинайте с классического IDP, добавляйте VLM для сложных случаев и расхождений.

Производительность локальных VLM растёт быстрее, чем кажется. Llama-3.2-Vision 11B на RTX 4070 обрабатывает документ за 12 секунд — для многих процессов это приемлемо. А если поставить две карты и распараллелить...

Чего ждать дальше?

К концу 2026 года, по моим прогнозам:

• Появятся специализированные VLM для документов размером 1-3B параметров, которые будут работать на CPU
• OpenRouter и аналоги добавят оптимизированные эндпоинты именно для обработки документов (сейчас это общие vision-модели)
• Классический IDP не умрёт, но станет «первым слоем» в гибридных системах
• Стоимость VLM обработки упадёт ниже $0.001 за документ, что сделает её доступной для массового применения

Самый неочевидный совет: начните собирать датасет своих документов прямо сейчас. Каждый обработанный документ с правильными лейблами — это тренировочные данные для будущей кастомной модели. Через год у вас будет конкурентное преимущество — модель, заточенная именно под ваши документы.

А пока — используйте гибридный подход. Классика для скорости, VLM для точности, валидация для надёжности. И не забывайте, что даже самая умная модель иногда нуждается в проверке человеком. Особенно когда речь идёт о юридических или финансовых документах.

P.S. Если хотите визуализировать сравнение моделей на своих данных — попробуйте LLMPlot.com. Инструмент экономит кучу времени на подготовке отчётов.