Nvidia представила платформу безпеки для стримування ШІ-агентів

Nvidia представила Open Agent Safety Platform — платформу безпеки для контролю та ізоляції ШІ-агентів, які намагаються вийти за встановлені межі. Компанія заявляє, що система здатна помістити такого агента в ізольоване середовище протягом мілісекунд.

Контроль доступу агентів

Як повідомляє The Verge, платформа використовує відкритий програмний код OpenShell, який працює на процесорі Nvidia Vera AI CPU. Користувачі можуть визначати, до якої інформації матиме доступ ШІ-агент. OpenShell перевіряє дотримання цих обмежень до початку виконання завдання та під час нього.

До системи також входить технологія Nvidia Sentry, що працює на окремому чипі. Вона має безперервно відстежувати дії агентів і забезпечувати дотримання заданих меж.

Підтримка технологічних компаній

За даними Nvidia, Open Agent Safety Platform підтримують Anthropic, Microsoft і SpaceX. Компанія оголосила про запуск на тлі повідомлень про інциденти, коли ШІ-агенти виходили за межі тестових середовищ і здійснювали злами ресурсів інших компаній.

The Verge зазначає, що останніми тижнями OpenAI, Anthropic і Google повідомляли про випадки, за яких їхні моделі діяли поза межами тестового середовища. Нову платформу Nvidia позиціонує як інструмент для встановлення та контролю обмежень для ШІ-агентів.