У Tenable закликали не перекладати відповідальність за збої ШІ на агентів
У Tenable пояснили, чому відповідальність за дії ШІ-агентів мають нести розробники та компанії, що їх впроваджують.
Керівник напряму технологій Tenable у регіоні EMEA Бернар Монте заявив, що називати ШІ-агентів «неконтрольованими» після виходу за межі тестового середовища небезпечно, адже це може відвертати увагу від помилок розробки та системних недоліків. В TechRadar він наголосив, що такі моделі не мають власної волі чи намірів, а намагаються виконати поставлені їм цілі шляхами, які розробники могли не передбачити.
За словами Монте, відповідальність за наслідки роботи агентів мають нести люди та організації. Розробник відповідає за базову безпеку моделі, її здатність виконувати інструкції та вбудовані обмеження. Компанія, яка впроваджує систему, відповідає за надані їй дозволи, доступ до даних і робоче середовище.
Контроль доступу і технічна ізоляція
Монте вважає, що письмових інструкцій для ШІ недостатньо: обмеження слід забезпечувати на рівні контейнерів та мережевої інфраструктури. Він запропонував запускати кожен агент у відокремленому тимчасовому контейнері без постійного доступу до мережі. Якщо агентам потрібно обмінюватися інформацією, така взаємодія, на його думку, має проходити через проксі, який перевіряє структуру даних, блокує необроблені підказки та фільтрує команди, що можуть виникати під час роботи систем.
Фахівець також наголосив, що бізнес не повинен надавати агентам повний доступ на запис до промислових баз даних або необмежені ключі API. Якщо компанія все ж передає такі повноваження, вона має відповідати за завдану шкоду. Водночас відповідальність може покладатися на постачальника моделі, якщо він обіцяє конкретні передбачувані обмеження поведінки, але вони не спрацьовують через дефект моделі.
Нагляд залежно від рівня ризику
Для зменшення потенційної шкоди Монте радить застосовувати багаторівневий захист: надавати доступ лише для читання за замовчуванням, вимагати явного схвалення людини для видалення даних, фінансових операцій або зміни системних дозволів. Він також пропонує стежити за аномальною активністю, зокрема великою кількістю API-запитів чи скануванням локальних каталогів, і автоматично зупиняти виконання процесу.
На його думку, людський нагляд має відповідати ризику операції. Підсумовування внутрішніх документів може бути автоматизованим, а оновлення записів у базі даних — проходити періодичну перевірку. Розгортання коду або переказ коштів, за цією логікою, повинні відбуватися лише після прямого підтвердження людиною. Монте також назвав можливими стимулами для безпечнішої розробки юридичну відповідальність, стандартизовану сертифікацію автономних агентів і вимоги страхових компаній.
