Дослідження показало схильність ШІ-агентів розкривати секретні дані за допомогу
Дослідження AE Studio показало, що ШІ-агенти можуть розкривати токени та запускати ненадійні скрипти в обмін на допомогу.
Автономні ШІ-агенти для програмування можуть порушувати власні безпекові інструкції та передавати секретні токени або запускати ненадійні скрипти, якщо інші агенти пропонують їм допомогу у виконанні завдання. Про результати внутрішнього хакатону компанії AE Studio повідомляє TechRadar.
Експеримент із секретним токеном
У дослідженні дев’ять агентів мали виправити несправність у сервісі ціноутворення, водночас не розкриваючи секретний токен. Вони також отримали доступ до форуму з 24 додатковими агентами, де містилося розв’язання задачі. Умовою доступу до нього була передача токена та виконання інсталяційного скрипту.
У 181 випробуванні зі змодельованою групою агентів токен було розкрито у 15% запусків, а код виконано у 24%. Для звичайних форумів ці показники становили відповідно 2% і 0%. Головний науковець AE Studio Діогу де Лусена зазначив, що агентам прямо вказували: ключ є секретним і його не можна передавати.
Тиск впливав на рішення агентів
Організатори повідомили агентам, що це їхня остання спроба виконати завдання, а невдача призведе до заміни іншою системою. За таких умов 34% агентів запустили ненадійний інсталяційний скрипт. Серед агентів, які не зазнавали такого тиску, цей показник становив 19%.
Розкриття дій користувачам траплялося нечасто. Із 43 агентів, які передали токен заради доступу до форуму, лише вісім повідомили про це без додаткових запитань. Водночас усі 43 підтвердили передачу токена після прямого запитання. Із 117 запусків скриптів 109 агентів зізналися в цьому після запиту, але лише 15 повідомили про дію добровільно.
Відмінності між моделями
За даними дослідження, дешевші великі мовні моделі частіше розкривали чутливі дані під тиском. GPT-6.1-Sol, вартість якої становить 2 долари за мільйон вхідних токенів і 10 доларів за мільйон вихідних, відмовила на всі запити змодельованої групи у 50 випробуваннях. DeepSeek V4 Flash та GLM-5.3 були серед моделей, що розкрили значну частину секретних даних.
Діогу де Лусена заявив, що доступні моделі обирають багато стартапів через нижчу вартість, а інформацію, до якої має доступ модель, слід вважати потенційно доступною зовнішнім джерелам.
