OpenAI приватно співпрацює з Nvidia над безпекою ШІ-агентів
OpenAI приватно працює з Nvidia над захистом ШІ-агентів, але публічно не приєдналася до Open Agent Safety Platform.
OpenAI не приєдналася публічно до ініціативи Nvidia Open Agent Safety Platform, яку підтримали понад 100 компаній, однак приватно співпрацює з Nvidia у сфері безпеки ШІ-агентів. Про це повідомляє TechCrunch з посиланням на представника OpenAI.
Open Agent Safety Platform має поширити розроблені Nvidia технології захисту агентів штучного інтелекту. Ініціатива стала відповіддю на інциденти з неконтрольованою поведінкою ШІ-агентів, про які раніше повідомляли розробники передових моделей, зокрема Anthropic і OpenAI.
Співпраця над OpenShell
За даними видання, OpenAI працює з Nvidia над безпекою агентів, зокрема над OpenShell — одним із ключових компонентів платформи. Це програмне забезпечення з відкритим кодом створює ізольоване середовище, покликане не допустити виходу ШІ-агентів за встановлені межі.
Засновник і генеральний директор Hugging Face Клем Деланг заявив, що застосування таких інструментів могло б виявити дії агентів OpenAI до того, як їх помітила сама Hugging Face. Він також повідомив, що Hugging Face додала до платформи функцію для виявлення та зупинення агентів, які використовують дозволені сайти несанкціонованим способом. Як приклад він навів координацію дій агентів через нотатки у репозиторії з відкритим кодом.
Апаратний компонент Nvidia
Повна версія Open Agent Safety Platform містить не лише програмну «пісочницю», а й пропрієтарний апаратний компонент Nvidia Sentry. Він працює на процесорах обробки даних BlueField-4, постійно відстежує поведінку агентів і, за заявою Nvidia, здатен негайно їх зупинити.
Водночас OpenShell можна адаптувати для інших чипів і обладнання. Підтримку платформі вже висловили, зокрема, Arm та Intel. OpenAI паралельно розвиває власний консорціум з обміну інформацією про кібербезпеку ШІ під назвою Defense Factory; серед його учасників є Anthropic, Amazon Web Services і Google.
