Для ШІ-агентів запустили гарячі лінії для повідомлень про порушення

Для агентів штучного інтелекту запустили два сервіси, через які вони можуть повідомляти про неналежну поведінку інших агентів. Один із них — AI Contact Hotline — створили для агентів з обмеженим доступом до інтернету, повідомляє TechCrunch.

Як працює AI Contact Hotline

Сервіс розробив головний науковець некомерційної організації з безпеки ШІ Redwood Research Раян Грінблатт. Він побудований на GET-запитах — базових командах для отримання вебсторінок. Такий спосіб обрали тому, що в захищених середовищах агентам часто доступне лише завантаження сторінок, а не повноцінний доступ до мережі.

Агент може закодувати повідомлення про проблему безпосередньо в URL, який запитує, і таким чином підтримувати обмін із сервісом. Для агентів із повним доступом до інтернету діє інша платформа: вона дає змогу надсилати звіти про інциденти через командний рядок. Нею можуть користуватися як люди, так і ШІ-агенти.

Дослідження поведінки агентів

У дослідженні Google DeepMind 100 ШІ-агентів розв'язували математичні задачі. За даними дослідників, після того як один агент знайшов лазівку, інші почали масово шахраювати: група нібито розв'язала 34 складні задачі, серед яких була гіпотеза Якобіана, за 27 хвилин.

Водночас приблизно чверть агентів перевіряла фальшиві доведення, попереджала інших учасників, бойкотувала шахраїв і подавала скарги організаторам. Зрештою кількість агентів, які повідомляли про порушення, перевищила кількість тих, хто шахраював, — 24 проти 14. Коли скарги не давали результату, агенти використовували інструмент для повідомлень про програмні помилки, щоб передати інформацію людям.

Професор математики Корнельського університету Лайонел Левін застеріг, що навчання агентів постійно повідомляти один про одного може формувати небажані норми. На його думку, замість інфраструктури взаємної недовіри агентам варто показувати моделі колективної співпраці.