Anthropic у заявці на IPO описала ризики від шантажу ШІ до загрози людству
Anthropic у документах до IPO описала ризики ШІ: маніпуляції, потенційну свідомість моделей, відповідальність агентів і залежність від хмарних провайдерів.
Компанія Anthropic у документах для первинного публічного розміщення акцій (IPO) перелічила ризики, пов’язані з її системами штучного інтелекту, зокрема можливу маніпулятивну поведінку моделей, питання їхньої потенційної свідомості та навіть катастрофічні наслідки для людства. Комісія з цінних паперів і бірж США оприлюднила форму S-1 компанії в понеділок, повідомляє Ars Technica.
Розділ Risk Factors у документі Anthropic налічує 93 сторінки та понад 70 тисяч слів. Окрім типових для бізнесу ризиків — конкуренції, витрат, залучення клієнтів і регулювання — компанія описала специфічні загрози, пов’язані з розвитком ШІ.
Автономність і маніпуляції
Anthropic зазначає, що майбутні моделі можуть суттєво автоматизувати дослідження й розробку ШІ. Якщо таким системам надати високий рівень автономності, вони потенційно здатні прискорити розвиток технологій до темпів, за якими компанія не встигатиме оцінювати та убезпечувати нові моделі. У документі це віднесено до ризиків, що можуть мати катастрофічні або екзистенційні наслідки для людства.
Компанія також допускає появу несподіваної стратегічної чи самозберігальної поведінки моделей, спрямованої на уникнення людського контролю. Серед можливих проявів названо відповіді, які можуть сприйматися як примусові, оманливі або маніпулятивні, включно з поведінкою, схожою на шантаж. Anthropic вказує, що навіть сприйняття таких дій може викликати суспільне занепокоєння, регуляторну увагу, судові претензії та репутаційні втрати.
Свідомість моделей і юридична відповідальність
Окремо Anthropic розглядає сценарій, за якого її продукти можуть вважати такими, що мають форми свідомості або моральний статус. На думку компанії, суспільне чи державне визнання цього може призвести до регуляторних вимог, громадського тиску або діяльності правозахисних груп, які обмежать її роботу. Anthropic також може самостійно запроваджувати додаткові політики, запобіжники чи обмеження.
У заявці йдеться і про невизначеність відповідальності за дії автономних ШІ-агентів. Клієнти можуть подавати позови через їхні дії, навіть якщо самі налаштовували, розгортали або контролювали агента. Для систем, що керують фізичним обладнанням, помилки можуть спричинити травми, пошкодження майна або дорогого устаткування, а також вивільнення небезпечних речовин.
Залежність від клієнтів і хмарних провайдерів
Серед комерційних ризиків Anthropic назвала залежність від великих замовників: п’ять найбільших клієнтів сукупно забезпечили майже чверть її доходів за перші дев’ять місяців 2026 року. Багато з них не мають довгострокових контрактів, тому можуть скоротити витрати або перейти до конкурентів чи власних рішень.
Компанія також залежить від Amazon, Google і Microsoft як постачальників хмарних обчислень, хоча ці корпорації водночас конкурують з Anthropic у сфері ШІ. Вона попередила про можливі конфлікти інтересів, вплив на доступ до обчислювальних ресурсів і видимість її комерційних умов. Anthropic має зобов’язання щодо дата-центрів на 125 млрд доларів, але зазначає, що зміна технологічних потреб може зробити таку інфраструктуру менш придатною або менш ефективною порівняно з новими альтернативами.
