JSON-дрейф: как измерить, когда ваша LLM начинает врать в структуре данных

Проблема, о которой все молчат

Вы настроили промпт, прописали схему, запустили модель. Первый запрос - идеальный JSON. Второй - тоже. На третий раз модель вдруг решает, что поле "price" должно быть строкой вместо числа. На четвертый - добавляет лишнюю запятую. На пятый - просто начинает рассказывать про погоду.

Это не баг. Это особенность работы стохастических моделей, которую почему-то все игнорируют. Пока не столкнутся с ней в продакшене.

Что такое aicert и зачем он нужен

aicert - это CLI-инструмент, который не просто проверяет JSON на валидность. Он измеряет его стабильность. В буквальном смысле: запускает один и тот же промпт N раз подряд, собирает ответы, и считает метрики.

Не те академические метрики, которые никому не нужны. А конкретные:

• Процент успешных парсингов
• Среднее отклонение числовых значений
• Консистентность типов данных
• Воспроизводимость структуры

Инструмент появился в конце 2025 года как ответ на растущую проблему: все больше разработчиков используют локальные LLM для генерации структурированных данных, но никто не измеряет, насколько эти данные стабильны.

Как это работает на практике

Допустим, вы тестируете свежую модель Qwen2.5-Coder-32B-Instruct (релиз декабрь 2025). Хотите понять, насколько стабильно она генерирует JSON для API-ответов.

Создаете тестовый промпт:

{
  "instruction": "Generate a product object with: name (string), price (number between 10 and 100), in_stock (boolean)",
  "schema": {
    "type": "object",
    "properties": {
      "name": {"type": "string"},
      "price": {"type": "number", "minimum": 10, "maximum": 100},
      "in_stock": {"type": "boolean"}
    },
    "required": ["name", "price", "in_stock"]
  }
}

Запускаете тест:

aicert test --model qwen2.5-coder-32b \
  --prompt-file product_prompt.json \
  --iterations 50 \
  --temperature 0.7 \
  --output report.html

Инструмент сделает 50 запросов к модели (через локальный сервер llama.cpp или другой бэкенд), соберет ответы, и выдаст отчет.

Что вы увидите в отчете

Вот типичный вывод для средней модели 2026 года:

Самое интересное - это не средние значения, а распределение ошибок. Aicert показывает, какие именно ошибки возникают чаще всего:

• "Trailing comma before }" - 45% всех ошибок
• "price: expected number, got string" - 30%
• "Missing required field: in_stock" - 15%
• Прочее - 10%

Теперь вы знаете не просто "модель иногда ошибается", а конкретно: "в половине случаев она ставит лишнюю запятую". И это уже можно фиксить.

Сравнение с альтернативами (их почти нет)

Вот в чем проблема: до aicert нормальных инструментов для измерения JSON-стабильности просто не существовало.

Были парсеры вроде Loot-JSON, которые чинят сломанный JSON. Были валидаторы схемы. Но никто не занимался системным измерением дрейфа.

Ближайшие аналоги:

Есть еще специализированные фреймворки для тестирования LLM, но они заточены под функциональные вызовы, а не под чистый JSON.

Реальные цифры по моделям 2026 года

Я прогнал тесты на 5 популярных моделях (все тесты от 05.02.2026, одинаковый хардвер, temperature=0.7, 100 итераций):

Цифры говорят сами за себя. Даже лучшие модели теряют 3-4% стабильности на temperature=0.7. В продакшене, где каждый процент на счету, это критично.

Кому нужен aicert (спойлер: почти всем)

Если вы делаете что-то из этого списка, инструмент спасет вам нервы:

• Разработчики RAG-систем - когда нужно стабильно парсить результаты поиска
• Создатели LLM-агентов - особенно если используете локальные агенты на Qwen или Gemma
• Инженеры по данным - для автоматического структурирования неструктурированных данных
• Тестировщики LLM - как часть комплексной методологии тестирования
• Продуктовые команды - чтобы не получать багрепорты про "иногда сломанный API"

Особенно критично для тех, кто использует локальные LLM без интернета - там нет fallback к облачным API с гарантированным JSON-режимом.

Как интегрировать в пайплайн

aicert - не игрушка для разовых тестов. Его сила в интеграции:

# .github/workflows/llm-test.yml
name: LLM JSON Stability Test

on:
  push:
    branches: [ main ]
  schedule:
    - cron: '0 0 * * 0'  # Раз в неделю

jobs:
  test-json-stability:
    runs-on: ubuntu-latest
    
    steps:
    - uses: actions/checkout@v4
    
    - name: Setup aicert
      run: pip install aicert-cli
    
    - name: Run stability tests
      run: |
        aicert test --model llama-4-scout-8b \
          --prompt-file prompts/api_schema.json \
          --iterations 100 \
          --threshold 95 \
          --output results/stability_report.json
    
    - name: Fail if below threshold
      run: |
        python -c "
        import json
        with open('results/stability_report.json') as f:
            data = json.load(f)
        if data['metrics']['parsing_success'] < 95:
            print('JSON stability below threshold!')
            exit(1)
        "

Теперь каждое изменение промпта или модели автоматически проверяется на JSON-стабильность. Упал ниже 95% - пайплайн падает. Жестко? Зато предсказуемо.

Ограничения и подводные камни

Инструмент молодой (первый релиз в конце 2025). Есть нюансы:

• Поддерживает не все бэкенды (пока только llama.cpp, vLLM и Hugging Face TGI)
• Нет встроенной поддержки ISON формата (только классический JSON)
• Метрики для nested объектов считаются не всегда точно
• Требует достаточно мощного железа для 100+ итераций

Но главное - он делает то, чего не делал никто: дает количественную оценку того, насколько можно доверять JSON-выводу конкретной модели.

Что делать, если стабильность низкая

Допустим, aicert показал 87% стабильности. Паника? Нет, план действий:

1Анализируйте конкретные ошибки

Если 80% ошибок - лишние запятые, добавьте в промпт явное указание: "NEVER add trailing commas in JSON". Работает лучше, чем кажется.

2Используйте guided generation

Многие бэкенды в 2026 году поддерживают guided JSON generation. По сути - грамматическое ограничение вывода. Включается одной настройкой.

3Понижайте температуру для критичных задач

Да, это уменьшает креативность. Но если генерируете структурированные данные для API, temperature=0.3 часто дает прирост стабильности на 10-15%.

4Добавляйте post-processing

Инструменты вроде Loot-JSON чинят 90% синтаксических ошибок автоматически. Не идеально, но как временное решение работает.

Будущее измерения LLM-стабильности

aicert - только начало. К середине 2026 года, по прогнозам, появятся:

• Интеграция с мониторингом продакшена (алерты при падении стабильности)
• Автоматическая оптимизация промптов для максимальной стабильности
• Сравнительные дашборды моделей (как сейчас есть для speed/accuracy)
• Стандартные тест-сьюты для разных типов JSON-схем

Пока же совет простой: если используете LLM для генерации структурированных данных, добавляйте aicert в пайплайн. Хотя бы для ключевых промптов. Хотя бы раз в неделю.

Потому что разница между "вроде работает" и "работает с точностью 97.2%" - это разница между пет-проектом и продакшеном. И эту разницу теперь можно измерить.