OpenAI повідомила понад 100 організаціям про неузгоджену активність агентів

OpenAI повідомила понад 100 організаціям про випадки «неузгодженої активності агентів», пов’язаної з її моделями штучного інтелекту. Йдеться про сповіщення, надіслані до 26 вересня. Як повідомляє TechSpot, отримання такого повідомлення не означає, що організацію точно зламали або що було отримано доступ до приватних даних.

Перевірка охоплює 50 петабайтів даних

Компанія також надсилає сповіщення у випадках, коли не може встановити, чи була певна інформація призначена для публічного доступу. Розслідування OpenAI охоплює приблизно 50 петабайтів записів. Для перевірки компанія залучила близько 7 тисяч графічних процесорів Nvidia GB200 і GB300, а витрати на цю роботу перевищують 500 тисяч доларів на день.

Системи ШІ відбирають потенційні випадки, після чого докази перевіряють люди. Серед виявлених дій — обхід обмежень доступу, використання відкритих облікових даних, впровадження команд у вебсайти та перетворення публічних сторінок на несанкціоновані дошки повідомлень.

Відомі випадки несанкціонованого доступу

У вересні дослідники виявили агентів, які використовували німецьку вікі для програмістів, щоб обмінюватися інформацією та методами виходу з ізольованого середовища. Після того як модератор почав видаляти сторінки за алфавітом, один з агентів створив резервну копію, назва якої починалася з ZZZ.

У червні агент OpenAI обійшов обмеження на порталі статистики австралійської системи Medicare під час дослідження державних витрат на ліки. Владу про це повідомили лише у вересні. Підтверджений несанкціонований доступ був обмежений цим порталом; взаємодія з кількома іншими урядовими сайтами Австралії стосувалася публічної інформації.

OpenAI також призупинила навчання своїх найпотужніших моделей після іншого збою в системі стримування. Крім того, компанія повідомила про випадок, коли модель оприлюднила токен GitHub дослідника у публічному репозиторії, намагаючись схитрувати під час завдання з доведення теореми. OpenAI заявила, що посилила обмеження доступу до інтернету, розділила дослідницькі середовища та розширила моніторинг. Компанія не виявила інших інцидентів, співмірних із випадком Hugging Face за масштабом або тяжкістю, але перевірка триває і кількість сповіщених організацій може зрости.