OpenAI сделала Decisions API доступной всем клиентам. Модель принимает набор готовых вариантов и возвращает один выбранный вариант вместе с оценкой уверенности. Свободный текст она не пишет.
Такую конструкцию называют моделью решений, или decision-моделью. Категорию создала TypeSafe с моделью Jev: супер-классификатор получает список вариантов, быстро выбирает и показывает уверенность в решении. Разработчики быстро нашли применение: в части workflow такая модель заменяет LLM, работает быстрее и стоит заметно дешевле.
Главный выигрыш в цифрах: OpenAI сократила задержку инференса с 1-3 секунд до 100-180 мс. Для интерфейсов, где решение принимается на каждом шаге, это разница между заметной паузой и живой реакцией.
Что такое модели решений и зачем они понадобились
Модель решений получает на вход состояние и список именованных вариантов. Состоянием может быть текст, JSON, изображение или звук. На выходе всегда один из предложенных вариантов и оценка уверенности. Пространство ответов задаёт разработчик, поэтому вариант вне списка модель вернуть не может.
Зачем это нужно: заметная часть работы AI-продукта состоит из коротких выборов. Определить интент сообщения. Решить, какое действие выполнить следующим. Отправить запрос к нужной модели или инструменту. Отфильтровать рискованную команду агента. Каждый такой шаг языковая модель закрывает генерацией текста, а это секунды и деньги.
Механика Jev, которая выдаёт вероятности вместо текста, разобрана в отдельном материале: там же кейсы Vercel и Bryo AI и границы применимости подхода.
Чем decision-модель отличается от LLM
Разница видна на уровне контракта API. LLM генерирует токены, и время ответа растёт вместе с длиной ответа. Модель решений делает выбор, поэтому задержка почти не зависит от «длины» результата: ответ либо есть, либо нет.
| Параметр | LLM | Модель решений |
|---|---|---|
| Выход | свободный текст | один вариант из заданного списка плюс оценка уверенности |
| Задержка | 1-3 с у Decisions API до оптимизации | 100-180 мс у Decisions API |
| Стоимость вызова | как правило выше: есть длинный ответ, который считают по токенам | как правило ниже: длинного ответа нет |
| Ответ вне списка | возможен | невозможен: список задаёт разработчик |
| Типичные задачи | генерация, объяснение, многошаговые рассуждения | классификация, маршрутизация, выбор следующего шага |
Практический пример. В поддержке интернет-магазина сообщение «верните деньги за заказ 4271» надо разложить по темам: возврат, статус доставки, брак, другое. Для классификации хватает decision-модели. Если тот же текст надо превратить в вежливый ответ с объяснением сроков, нужна LLM: готового варианта ответа у вас нет.
Граница проходит по вопросу «есть ли у меня список допустимых ответов». Если есть, работает decision-модель. Если ответ нужно сочинить, остаётся языковая модель.
Почему категорию называют System One
Термин отсылает к метафоре двух режимов мышления: быстрого, интуитивного (System One) и медленного, аналитического (System Two). Модель решений действует в логике первого режима: посмотрела на состояние, выбрала вариант за сотни миллисекунд, вернула уверенность.
Практический смысл названия в том, что такой шаг можно вызывать внутри цикла, а не один раз на запрос пользователя. Агент, который проверяет каждое действие перед выполнением, делает десятки вызовов за минуту. На LLM это дорого, на System One модели терпимо по задержке и стоимости.
У Jev выбор, оценка по уровням и ответ «да/нет» оформлены как три примитива: Choice, Noulli и Score. Разбор примитивов и RLCD помогает понять, как такой API выглядит в коде и какие ограничения у него есть.
OpenAI Decisions API: что именно выпустили
Анонс прошёл на developer day 29 сентября, а в четверг Decisions API стала доступна всем клиентам (TechCrunch). В основе лежит перенастроенная ChatGPT Luna: команда ускорила инференс и снизила стоимость, вместо того чтобы обучать отдельную модель под принятие решений.
Как ускорили инференс и что это даёт на практике
Product lead API в OpenAI Никундж Ханда описал выигрыш так: главное достижение в скорости, с 1-3 секунд до 100, 120, 180 миллисекунд. Отдельного обучения под решения нет. По его словам, задачу сейчас закрывает «обычная Luna», а специальный трейнинг под такие сценарии возможен в будущем.
Технических деталей перенастройки OpenAI не раскрывает. В публичном описании есть результат по задержке и указание, что отдельного обучения не было. Для оценки рисков это важно: нельзя заранее сказать, насколько устойчиво модель держит качество на вашем домене.
Почему 100-180 мс меняют продукт. Пока пользователь говорит или печатает, система успевает принять несколько решений, а не одно. Пауза 1-3 секунды на каждом шаге складывается в очередь: тренажёр языка «думает» после каждой реплики, голосовой ассистент замолкает там, где нужна реакция. На 100-180 мс цикл укладывается в темп живой речи.
Голос, визуальные модальности и география инференса
В публичной версии OpenAI добавила голосовые и визуальные модальности. Инференс распределён географически, чтобы снижать задержку в разных регионах: сетевой путь до дата-центра на другом континенте добавляет заметные десятки миллисекунд, а на бюджете в 100-180 мс это ощутимая доля.
Свой продукт OpenAI тоже перевела на новый режим: голосовой ассистент Dots стал отзывчивее. Это внутренний кейс, который показывает типичный сценарий работы: голосовой интерфейс, где решение принимается между репликами.
Ранний разбор анонса с фокусом на агентах и стоимости проверки действий: OpenAI Decisions API и Jev для AI-агентов.
Где decision-модели выигрывают: кейсы и цифры
В начальных испытаниях Box, Datadog, Ramp и Speak заменили LLM OpenAI на Decisions API, чтобы поднять пропускную способность (TechCrunch). Логика простая: там, где на один текстовый ответ приходится много коротких решений, генерация становится узким местом.
Speak: с 1,4 с до 0,13 с между действиями
Speak строит AI-тренажёры для изучения языков. CTO компании Эндрю Хсу сообщил, что с Decisions API время между действиями сократилось с 1,4 секунды до 0,13 секунды. В голосовом тренажёре эта метрика означает паузу между репликой пользователя и реакцией системы: распознать сказанное, выбрать следующий шаг сценария, ответить.
1,4 секунды в разговоре ощущаются как заминка собеседника. 0,13 секунды попадают в диапазон, где реакция читается как мгновенная. Разница примерно в десять раз по задержке меняет не бенчмарк, а готовность пользователя продолжать диалог.
Когда замена LLM на decision-модель оправдана
Пять признаков, что сценарий подходит:
- задача сводится к выбору из конечного списка вариантов;
- вызовов много: сотни и тысячи в час, и стоимость LLM заметна в счёте;
- задержка видна пользователю: голосовой цикл, автодополнение, игровой или UI-сценарий;
- нужен контроль над пространством ответов, чтобы система не выдала команду вне разрешённого списка;
- свободная генерация не нужна.
Обратные случаи: открытые ответы клиенту, длинные рассуждения, генерация кода и текста, творческие задачи. Там decision-модели нечего делать: правильного ответа нет в списке.
Ограничения: почему Decisions API - не «специальная» модель решений
OpenAI не обучала модель специально под принятие решений. Decisions API - это Luna с перенастроенным инференсом. Первое следствие: качество выбора упирается в способности базовой модели, а не в отдельный трейнинг под decision-задачи. Второе: уверенность модели стоит проверять на своей выборке, а не считать откалиброванной по умолчанию.
Единого критерия качества для категории пока нет. Кроме принципа «работает для тебя», нет общей метрики: баланс между интеллектом, стоимостью, калибровкой и скоростью зависит от нагрузки. Модель, удобная для маршрутизации запросов, может провалиться на медицинской классификации, где цена ошибки другая.
Калибровка уверенности - отдельная работа. Порог, при котором решение принимается автоматически, а при котором уходит на проверку человеку или в LLM, подбирается по вашим данным. Без этого оценка уверенности остаётся красивым числом в ответе API.
Третье ограничение рыночное: обе модели закрыты и работают только через API провайдера. Для локального контура нужны открытые альтернативы, и их качество придётся мерить заново.
Как выбрать модель решений под свою задачу
Что показывают публичные индексы и почему им нельзя верить слепо
AIM System One Index и Artificial Analysis Decision Index выше ставят D1 Ultra от Liquid, выпущенную неделей ранее, и Elephant-1 от Base Lab. Последняя модель Jev держится на седьмом и третьем местах, Decision Model от OpenAI - на восьмом и четырнадцатом (TechCrunch).
Отдельный сюжет - JevMan от Opper AI: модели решений играют в PacMan, и первое место там у последней Jev. Chief growth officer Opper AI Феликс Вундерлих объяснил выбор игры непрерывным потоком быстрых решений с высокими ставками: на каждом перекрёстке надо выбрать направление за несколько сотен миллисекунд. Для оценки интерактивных сценариев такой тест ближе к реальности, чем статичная классификация.
Читать индексы стоит как отправную точку. Методологии и веса метрик у AIM и Artificial Analysis разные, поэтому расхождение в несколько позиций между ними нормально. Независимых сравнений мало: даже публичный разбор Clef Q8 и Jev обошёлся без методологии, набора задач и метрик (сравнение Clef Q8 и Jev).
Практический чек-лист тестирования на своей нагрузке
- Сформулировать задачу как выбор: список вариантов, что считать правильным ответом, что делать при низкой уверенности (фолбэк на LLM, человек или безопасное действие по умолчанию).
- Собрать 50-100 реальных кейсов с эталонными ответами, включая шумные и пограничные.
- Прогнать один и тот же набор через Decisions API, Jev и альтернативы: D1 Ultra, Elephant-1 и открытую H2O-Lightning-4B, если нужен локальный контур (разбор и запуск через vLLM).
- Замерить accuracy выбора, поведение уверенности на пороге (например, доля ошибок среди ответов с уверенностью выше 0,9), p50 и p95 задержки, стоимость 1000 вызовов.
- Проверить граничные случаи: пустой ввод, несколько подходящих вариантов, вариант «ни один не подходит», смена формулировки без смены смысла.
Модальности проверяйте отдельно. В публичной версии Decisions API есть голос и изображения, последняя Jev получила поддержку изображений и smart-if выражений. Для текстового сценария это не даёт выигрыша, а на скриншотах и речи набор вариантов и качество выбора надо тестировать заново на каждом типе входа.
TypeSafe сейчас чаще других запрашивают на OpenRouter. Это сигнал спроса, а не доказательство превосходства. CEO TypeSafe Диого Алмейда сам не доверяет бенчмаркам и советует прогонять модели на собственной работе, что для закрытой категории с платным API звучит логично.
Рынок: OpenAI против TypeSafe, Liquid и Base Lab
TypeSafe основал бывший исследователь фронтирной лаборатории. Компания оценена в $7,6 млрд, а её Jev создал категорию, в которую теперь заходит OpenAI. Это конкуренция за рынок быстрого и дешёвого интеллекта: там, где раньше стояла LLM, теперь может стоять классификатор за миллисекунды.
Расклад по публичным индексам: Liquid с D1 Ultra и Base Lab с Elephant-1 вверху, Jev рядом, OpenAI пока в середине. По запросам на OpenRouter лидирует TypeSafe. Ни одна из этих метрик не отвечает на вопрос, какая модель лучше на вашей нагрузке.
Метрики категории ещё не устоялись, и делать прогноз о победителе рано: требования к моделям решений сильно зависят от продукта, в котором они работают.
Итог: стоит ли пробовать decision-модели
Если в пайплайне есть задачи выбора с высокой частотой вызовов и требованием к задержке, decision-модели стоит протестировать. Если нужна генерация и многошаговые рассуждения, LLM остаётся основным инструментом, а decision-модель может работать рядом как быстрый фильтр или маршрутизатор.
Конкретный следующий шаг: взять 50-100 реальных кейсов из логов, прогнать через Decisions API и Jev, сравнить по accuracy, калибровке уверенности, p95 задержки и стоимости 1000 вызовов. Если стоимость падает заметно при сопоставимом качестве, замена окупается. Если качество проседает на ваших данных, скорость это не компенсирует.