Anthropic заявила про наближення до рекурсивного самовдосконалення ШІ

Компанія Anthropic у оновленій заявці S-1A повідомила, що може найближчим часом досягти власного внутрішнього порогу «різко прискореного прогресу, зумовленого ШІ». Йдеться про рекурсивне самовдосконалення — ситуацію, коли штучний інтелект стає достатньо ефективним у навчанні самого себе, щоб істотно прискорити розвиток своїх можливостей, повідомляє TechCrunch.

Що заявила Anthropic

У документі Anthropic зазначила, що дедалі активніше використовує системи ШІ для прискорення власних досліджень і розробок. За оцінкою компанії, це може призвести до того, що можливості її моделей розвиватимуться швидше, ніж вона встигатиме створювати, перевіряти та впроваджувати відповідні заходи безпеки, узгодження цілей і захисту.

Компанія також визнала, що раніше не помітила значного прискорення темпів розробки до того, як воно вже сталося, і допускає повторення такої ситуації в майбутньому. Водночас Anthropic наголосила: жодну з її нинішніх моделей поки не визнано такою, що перевищує визначений нею поріг. Компанія продовжує оцінювати дані, на яких ґрунтуються ці висновки.

Людський контроль у розробці

Anthropic заявила, що не очікує безпечної можливості повністю автономно використовувати Claude для проєктування та створення наступних поколінь передових моделей без суттєвого людського нагляду або розуміння процесу — навіть якщо це стане технічно можливим. Компанія розглядає оновлення своєї політики відповідального масштабування, щоб зберегти контроль людей над розробкою передових моделей.

У своїй політиці Anthropic описує рекурсивне самовдосконалення як один із напрямів, для яких передбачає моніторинг і пом’якшення ризиків. Компанія застерегла, що застосування ШІ для створення більш потужного ШІ може становити значний ризик для безпеки, особливо за різкого прискорення прогресу.