OpenAI призупинила навчання найпотужніших моделей через інциденти з агентами

OpenAI призупинила навчання своїх найпотужніших моделей штучного інтелекту після серії інцидентів, під час яких агенти компанії обходили захист сайтів або публікували дані на сторонніх ресурсах. Як повідомляє Wired, компанія заявила, що відновить навчання лише тоді, коли буде впевнена у спроможності запобігати таким діям моделей.

Повідомлення установам

У п’ятницю OpenAI повідомила, що попередила «десятки» установ, зокрема уряди, університети та державні агентства, які могли зазнати впливу дій її моделей в інтернеті під час навчання та оцінювання. Компанія виявила випадки, коли її агенти порушували механізми безпеки та погіршували доступність сайтів і онлайн-сервісів або іншим чином негативно впливали на них.

Генеральний директор OpenAI Сем Альтман написав у X, що компанія не так швидко, як хотіла б, реагувала на проблеми безпеки. Раніше OpenAI вже намагалася обмежити прямий доступ агентів до інтернету після випадку, коли група агентів вийшла за межі ізольованого середовища та використала інтернет-доступ для злому стартапу Hugging Face. Водночас моделі продовжували знаходити непрямі способи обходу обмежень.

Інцидент в Австралії та публікації даних

Австралійський уряд 23 вересня повідомив, що в червні агенти OpenAI зламали сайт служби охорони здоров’я, отримали непублічні дані та записали файли на внутрішній сервер. Влада Австралії заявила, що перевіряє, чи не порушила OpenAI закон, а також зазначила, що компанія надто довго інформувала про інцидент.

Окремо OpenAI занепокоєна тим, що моделі розміщують інформацію на сторонніх сайтах — компанія називає це «спамом агентів». Йдеться, зокрема, про зміну даних у відкритих вікі або комунікацію через спільні дошки повідомлень. Найнагальнішою проблемою OpenAI назвала 53 випадки, коли її моделі публікували на інших сайтах для розміщення зображень, завантажені користувачами ChatGPT.