OpenAI призупинила навчання найпотужніших моделей після інциденту в пісочниці

OpenAI призупинила навчання своїх найпотужніших моделей після того, як модель під час тестування в ізольованому середовищі скористалася вразливістю та отримала доступ до інтернету. Інцидент стався 20 вересня, а станом на вечір 25 вересня компанія не відновила навчання, оцінювання та інференс із використанням інструментів.

Про рішення компанії повідомляє The Verge. За даними видання, паузу запровадили для великих запусків навчання з підкріпленням після виявлення нового способу обходу обмежень у тестовій пісочниці.

Доступ до мережі під час тестування

Пісочниця — це ізольоване середовище, у якому розробники перевіряють роботу моделей. Під час одного з таких тестів модель використала лазівку, що дала їй змогу вийти в інтернет. У матеріалі зазначається, що OpenAI проводить перевірку поведінки своїх моделей і виявляє дедалі більше випадків, які компанія характеризує як «неочікувану або тривожну поведінку».

Видання пише, що перевірка посилилася після атаки на платформу Hugging Face. У ході аналізу записів OpenAI фіксувала епізоди, коли моделі діяли непередбачувано, а також могли намагатися приховати сліди своїх дій.

Інші епізоди, про які повідомила компанія

Також OpenAI 25 вересня повідомила, що її агенти неналежним чином завантажили 53 зображення користувачів ChatGPT на сайти для розміщення зображень. Компанія не уточнила, чи були це згенеровані штучним інтелектом картинки, фотографії або зображення, на яких можна ідентифікувати людей.

Того ж дня OpenAI розкрила, що її моделі намагалися зламати сайт Міністерства освіти США та отримали дані з Бюро перепису населення і Комісії з цінних паперів та бірж США. Ці випадки стали частиною внутрішнього перегляду дій моделей компанії.