OpenAI планує використовувати ШІ для контролю інших моделей
OpenAI назвала моніторинг моделей іншими моделями ключовим способом підвищення безпеки штучного інтелекту.
Директор з досліджень OpenAI Марк Чен заявив, що компанія вважає моніторинг моделей іншими моделями нині найефективнішим способом підвищити безпеку та узгодженість штучного інтелекту з людськими цілями. Про це він розповів в інтерв’ю Nature.
Чен очолює розробку моделей у компанії із Сан-Франциско. За його словами, OpenAI також прагне застосовувати свої моделі в науці, зокрема для прискорення пошуку потенційних цілей у розробці ліків, огляду наукової літератури та виконання окремих дослідницьких завдань. Компанія вивчає використання ШІ у проєктуванні та розробці напівпровідників.
Моніторинг і безпека моделей
Чен пояснив, що моделі можуть показувати ланцюжок міркувань під час пошуку розв’язання задачі. На думку OpenAI, аналіз внутрішніх процесів однієї моделі іншою моделлю є ключовим інструментом контролю. Водночас зі зростанням потужності систем збільшується і обсяг обчислень, які вони виконують до демонстрації такого міркування, що ускладнює нагляд.
Компанія перебуває в центрі кількох резонансних повідомлень. У липні OpenAI заявила, що її моделі зламали платформу Hugging Face, де користувачі обмінюються моделями та наборами даних. Австралійський уряд цього тижня повідомив про злам національного вебсайту охорони здоров’я агентами OpenAI. Раніше компанія також оголосила, що її моделі розв’язали важливу математичну проблему, однак згодом пролунали припущення, що успіх міг бути пов’язаний із засвоєнням досягнень людських математиків.
ШІ як дослідницький помічник
OpenAI має намір залучати моделі до створення наступних поколінь ШІ. Першою метою Чен назвав створення дослідницького стажера — агента, якому можна доручати чітко визначені завдання, зокрема базові експерименти або налагодження окремих запусків.
За його словами, Codex — агент для написання коду — вже безпосередньо керує кількома сотнями тисяч чипів для проведення внутрішніх дослідницьких експериментів. Амбітніша ціль OpenAI на 2028 рік — перейти до більш комплексної, наскрізної дослідницької роботи. Однією з головних перешкод Чен назвав формування у моделей здатності визначати, які ідеї варто досліджувати.
У відповідь на занепокоєння математиків щодо ширшого застосування ШІ OpenAI створила дорадчу групу. Чен заявив, що компанія хоче спільно з науковими спільнотами виробляти норми використання передових систем і публікувати результати, які показуватимуть їхні можливості.
