OpenAI відкрила для всіх клієнтів модель рішень Decisions API
OpenAI відкрила доступ до Decisions API — швидкої моделі для вибору між варіантами та оцінки впевненості у рішенні.
OpenAI зробила модель Decisions API доступною для всіх клієнтів. Вона призначена для швидкого вибору серед заданих варіантів і може надавати оцінку впевненості у своєму рішенні. Компанія представила продукт на заході для розробників 29 вересня, а загальнодоступним він став у четвер.
Як повідомляє TechCrunch, команда OpenAI переробила модель ChatGPT Luna, щоб прискорити інференс і знизити вартість роботи. Керівник напряму API в OpenAI Нікундж Ханда заявив, що завдяки цьому час виконання завдань вдалося скоротити з однієї—трьох секунд до 100–180 мілісекунд.
Швидкість і мультимодальність
У публічній версії Decisions API OpenAI додала голосові та візуальні можливості. Компанія також розподілила ресурси для інференсу за географічними регіонами, щоб зменшити затримку для користувачів у різних частинах світу.
Під час початкових випробувань із Box, Datadog, Ramp і Speak розробники замінювали великі мовні моделі OpenAI на новий API для завдань із вищою пропускною здатністю. Технічний директор Speak Ендрю Хсу сказав, що сервіс мовних ШІ-репетиторів скоротив проміжок між діями з 1,4 секунди до 0,13 секунди. OpenAI також використала продукт для підвищення швидкості реакції голосового асистента Dots.
Конкуренція моделей рішень
Decisions API виходить на ринок моделей рішень, або моделей System One. Такий підхід популяризувала модель Jev від стартапу TypeSafe: вона швидко класифікує варіанти, обирає один із них і пропонує оцінку впевненості. За даними видання, розробники застосовують такі моделі як дешевшу та швидшу альтернативу великим мовним моделям у частині робочих процесів.
Водночас універсального критерію для оцінки таких моделей немає: результат залежить від балансу якості, вартості, калібрування та швидкості для конкретного завдання. У рейтингах AIM System One Index і Artificial Analysis Decision Index моделі D1 Ultra від Liquid та Elephant-1 від Base Lab випереджають рішення OpenAI. Остання версія Jev посідає сьоме й третє місця відповідно, а Decision Model від OpenAI — восьме та чотирнадцяте.
Ханда вважає, що перевагою OpenAI може бути робота із зображеннями: за його словами, Luna демонструє сильні результати в класифікації зображень і краще калібрується. Він також назвав потенційним напрямом подальше прискорення моделі до приблизно 60 мілісекунд, що могло б відкрити сценарії обробки кожного кадру відео.
