ChatGPT получил быстрый Decisions API и бросил вызов Jev
OpenAI впервые широко открыла свой Decisions API — модель для быстрых и недорогих решений, которая должна конкурировать с Jev от TypeSafe. Для бизнеса и разработчиков это значит более быстрые ответы, меньшую задержку и новые сценарии, где обычные LLM раньше были слишком медленными или дорогими.
Что именно запустила OpenAI
OpenAI сделала свой Decisions API доступным всем клиентам. Компания явно выходит в сегмент моделей, которые не столько генерируют длинные ответы, сколько быстро выбирают из вариантов и выдают оценку уверенности в решении.
На практике OpenAI не строила отдельную «идеально настроенную» decision-модель с нуля. Вместо этого команда взяла ChatGPT Luna и переработала её так, чтобы снизить задержку и стоимость работы. По словам product lead по API Никунжа Ханды, главный эффект — резкое ускорение: вместо 1–3 секунд ответы теперь могут приходить примерно за 100–180 миллисекунд.
Зачем это нужно компаниям и разработчикам
В первые тесты вошли Box, Datadog, Ramp и Speak. Там API использовали для замены обычных LLM в частях рабочих процессов, где важны скорость и большой поток запросов. Например, в Speak, где делают ИИ-репетиторов для изучения языков, время между действиями сократилось с 1,4 секунды до 0,13 секунды.
Это полезно не только разработчикам, но и любым продуктовым командам: быстрее реагируют ассистенты, чат-боты, системы классификации и сервисы, где каждое лишнее ожидание ухудшает опыт пользователя. OpenAI также применяет этот подход внутри компании, чтобы сделать голосового помощника Dots более отзывчивым.
Почему рынок decision-моделей так быстро растёт
Интерес к таким моделям вырос после появления Jev от TypeSafe. Идея оказалась очень практичной: если модели нужно не «писать всё подряд», а быстро выбрать лучший вариант из нескольких, они могут работать заметно дешевле и быстрее обычных LLM. Поэтому разработчики стали искать, где можно заменить более тяжёлые модели более лёгкими decision-системами.
Но единых правил, какой именно decision model «лучше», пока нет. Всё зависит от задачи: где-то важнее точность, где-то калибровка, а где-то скорость. Бенчмарки показывают разные лидеры: на одних индексах сильнее D1 Ultra от Liquid и Elephant-1 от Base Lab, а latest Jev остаётся конкурентным. У OpenAI Decision Model результаты пока скромнее, но у него есть сильная сторона — мультимодальность, включая работу с изображениями.
Что это меняет для обычных пользователей
Если OpenAI продолжит снижать задержку, появятся новые сценарии: мгновенные проверки изображений, более быстрые голосовые функции и, возможно, работа на каждом кадре видео. Ханда прямо говорит, что при ещё большей скорости можно будет думать о вызовах API почти для каждого кадра в видеопотоке.
Для пользователя это обычно выражается просто: меньше ожидания, быстрее отклик и более плавный сервис. Для бизнеса — ниже стоимость обработки запросов и больше мест, где ИИ можно встроить в процесс без заметной нагрузки на бюджет. И именно поэтому рынок decision-моделей сейчас так быстро нагревается: они делают ИИ практичнее в повседневной работе.