H2O.ai выложила H2O-Lightning-4B: открытую модель на 4 млрд параметров под лицензией Apache-2.0, заточенную под inference в стиле decisions API. На вход она принимает состояние и типизированные вопросы, на выходе отдаёт калиброванные вероятности за один forward pass. Токены при этом не генерируются вообще.
Формат популяризировала Jev, и H2O.ai прямо ссылается на этот подход. По данным публичного лидерборда JevBench, композитный результат H2O-Lightning-4B составляет 72.5 против 71.5 у Jev 1.13, что делает её текущей топовой открытой моделью в этом бенчмарке. Анонс опубликован сотрудником H2O.ai.
Сразу обозначим рамки: это не чат-модель и не замена генеративной LLM. Это инструмент для мест, где нужен быстрый ответ из фиксированного набора вариантов: категория, да или нет, балл по шкале.
Что такое H2O-Lightning-4B и decisions API
Технически это дообученная Qwen3.5-4B. Деталей тренировки анонс не раскрывает, но называет базовую модель и лицензию. Веса открыты, запуск идёт на стандартном vLLM с небольшим шимом из репозитория.
Decisions API - это формат запроса. Вместо промпта в свободной форме вы отправляете два блока: состояние (текст, JSON, любой контекст задачи) и список именованных вопросов с типами. В ответ приходит распределение вероятностей по вариантам.
Чем decisions API отличается от генеративных LLM
Генеративная LLM выдаёт текст токен за токеном. Каждый токен - отдельный шаг вычислений, а время ответа растёт вместе с длиной текста. Решение приходится вытаскивать из формулировки парсингом, и уверенность модели остаётся неизвестной.
Decisions API читает ответ напрямую из распределения на позициях вариантов. Один forward pass, ноль сгенерированных токенов. Отсюда два практических следствия:
- Время и стоимость предсказуемы: длительность ответа не зависит от того, насколько развёрнутым получился бы текст.
- На выходе вероятность, а не строка. Порог 0.9 можно отдать автоматике, а 0.55 - отправить на ручную проверку или более крупной модели.
Пример: вместо промпта «ответь да или нет» вы получаете пару чисел, скажем 0.87 для «да» и 0.13 для «нет». Логика ветвления строится на числах, без регулярных выражений и повторных запросов.
Типизированные вопросы: выбор одного, да/нет, оценка
Анонс называет три типа вопросов, и этого набора хватает для большинства задач классификации и ранжирования.
| Тип вопроса | Что возвращает | Пример |
|---|---|---|
| pick one | распределение вероятностей по вариантам | категория обращения |
| yes-no | вероятность для бинарного решения | нужна ли эскалация |
| score | оценка по заданной шкале | приоритет от 1 до 5 |
Для triage страховых claims можно задать вопрос о категории и отдельно оценку срочности, получив оба ответа вероятностями из одного запроса. Вместо одной длинной инструкции в промпте - типизированная структура, которую удобно валидировать кодом.
Как запустить H2O-Lightning-4B локально
Проприетарных серверов не требуется: заявленный стек - стандартный vLLM плюс небольшой открытый шим, который лежит в том же репозитории. Шим отвечает за формат decisions API: принимает состояние и типизированные вопросы, возвращает вероятности по вариантам.
Требования к оборудованию и скорость на H100
Заявленная скорость - около 30 мс на одно решение на H100. Точных требований к VRAM в анонсе нет. Ориентир по размеру модели: 4B параметров в FP16 занимают примерно 8 ГБ на веса, плюс запас на контекст и KV-кеш, так что 8-10 ГБ - это оценка по математике, а не подтверждённое число. Проверять придётся на своём железе.
Цифра 30 мс относится к серверному ускорителю H100. Замеров на потребительских картах в анонсе нет, поэтому переносить её на RTX-класс без проверки не стоит. Как сравнивать скорость инференса разных открытых моделей на разном железе, разобрано в подборке свежих open-weights релизов 2026 года.
Установка и запуск через vLLM
Общая последовательность выглядит так:
- Склонировать репозиторий с весами и шимом.
- Установить зависимости: vLLM и пакеты шима.
- Поднять сервер vLLM с дообученной моделью на базе Qwen3.5-4B.
- Отправлять запросы через эндпоинт шима в формате decisions API.
Готовых команд в анонсе нет, поэтому точный синтаксис запуска нужно смотреть в репозитории, там же указан способ подключения шима к серверу. Патчить vLLM не нужно. Данные остаются локальными, плата за вызовы отсутствует: считаете только железо и электричество.
Задачи, которые закрывает H2O-Lightning-4B
Модель рассчитана на принятие решений, а не на разговор. Всё, что сводится к выбору из набора вариантов, бинарной проверке или оценке по шкале, попадает в её профиль.
Примеры использования: от triage до веб-агентов
В анонсе перечислены четыре демонстрации:
- Inbox triage: сортировка входящих сообщений по категориям.
- Обработка 1000 страховых claims: разбор потока обращений.
- Мультибраузерный веб-агент: выбор следующего действия на странице.
- DOOM на decision clock: игровой агент, принимающий решения в реальном времени.
Это примеры из анонса H2O.ai, а не результаты независимых тестов. Общий знаменатель у них один: высокая частота однотипных решений, где важна каждая миллисекунда и где нежелательно отправлять данные наружу.
Родственный класс моделей, которые возвращают вероятности для действий и аргументов, разобран в материале про Aplomb 1, открытую модель на 5.3B для принятия решений. Логика похожая: уверенные решения уходят автоматике, спорные - более крупной модели или человеку.
Отдельный сценарий для агентных систем: проверять каждый шаг дешёвой decision-моделью, а дорогую LLM звать только на действительно сложных шагах. Потолок пользы здесь упирается в калибровку вероятностей. Если модель выдаёт 0.9 там, где ошибается в половине случаев, любые пороги теряют смысл.
Сравнение с Jev 1.13 и позиция на JevBench
По данным публичного лидерборда JevBench, композитный результат H2O-Lightning-4B - 72.5, у Jev 1.13 - 71.5. Разрыв в один пункт выводит новую модель на первую позицию среди открытых участников этого бенчмарка. Источник цифр - анонс H2O.ai со ссылкой на публичный лидерборд.
Что такое JevBench и как читать результаты
JevBench - публичный лидерборд для моделей, работающих в формате decisions API. Композитный скор агрегирует несколько задач в одно число. Что именно входит в агрегат, как он взвешен и каков разброс между прогонами, в анонсе не раскрыто.
Отсюда простые выводы. Один пункт разницы на агрегированной метрике не означает разгрома конкурента и не гарантирует качество на вашей задаче. Jev 1.13 - модель, которая и задала сам формат decisions API, а её близость к новичку говорит о том, что планка высокая. Как относиться к сравнениям decision-моделей, когда в публикации нет ни методологии, ни набора задач, разобрано в разборе сравнения Clef Q8 и Jev.
Ограничения и риски
Предвзятость источника и отсутствие независимых тестов
Новость опубликована сотрудником H2O.ai, и это указано в самом тексте анонса. Факты про лицензию, базовую модель и стек запуска от этого не меняются. Оценки качества - меняются: цифра 72.5 приходит с публичного лидерборда, а не из независимого исследования, а сравнение с Jev 1.13 опирается на те же данные.
Заявления о версиях 12B и 31B основаны на внутреннем тестировании компании. Воспроизвести его со стороны нельзя, поэтому до появления весов и сторонних замеров это планы, а не характеристика. Анонс сам разделяет публичный лидерборд и внутренние тесты, и эту границу стоит держать в голове при чтении любых цифр.
Чего модель не умеет
- Не генерирует текст: ответ - вероятность по вариантам, а не формулировка.
- Не ведёт диалог и не хранит историю переписки так, как это делают чат-модели.
- Не подходит для творческих задач, пересказа и извлечения произвольного структурированного текста.
- Максимальная длина состояния в анонсе не указана, как и поддержка языков и мультимодального ввода.
Для критичных решений модель стоит валидировать на своих данных: проверить калибровку именно на ваших порогах, а не доверять общему скору бенчмарка. Особенно там, где цена ошибки высока.
Планы H2O.ai: 12B и 31B версии
H2O.ai заявляет о планах выпустить версии на 12B и 31B параметров. По внутреннему тестированию компании, они заметно умнее Jev, при этом сохраняют открытые веса и тот же принцип: одно решение за один forward pass. Сроки в анонсе не названы.
Для практики это значит, что формат decisions API не привязан к размеру 4B. Если гипотеза подтвердится, тот же интерфейс можно будет масштабировать на задачи, где четырёхмиллиардной модели не хватает, не переписывая интеграцию. До выхода весов и сторонних замеров это остаётся планами.
Кому стоит присмотреться к H2O-Lightning-4B
Модель закроет задачи, где нужно локальное, быстрое и бесплатное по вызовам принятие решений:
- Разработчикам, которые строят классификаторы и роутеры поверх LLM и хотят убрать генерацию из горячего пути.
- Продактам и аналитикам, которым нужна автоматическая сортировка обращений, тикетов и заявок.
- Тем, кто защищает AI-агентов: проверка каждого шага дешёвой моделью вместо вызова фронтирной LLM.
- Пользователям локальных LLM, которым интересен новый класс моделей, а не очередная генеративная надстройка.
Кому не подойдёт: если на выходе нужен текст или многошаговый диалог, берите генеративную модель. Если нужна независимая валидация качества, дождитесь сторонних тестов либо проверьте модель на своём датасете.
Начать стоит с малого: собрать набор типизированных вопросов по реальной задаче, прогнать его через локальный vLLM с шимом и посмотреть, как распределены вероятности рядом с вашим порогом. Если уверенные ответы совпадают с ожиданиями, модель займёт место в пайплайне. Если нет, потери ограничатся вечером настройки.