Компанія Alice заявила про поліпшення захисту ШІ-асистентів
Alice заявила про поліпшення захисту ШІ-асистентів від надмірної згоди з користувачем і прихованих шкідливих команд.
Компанія з безпеки штучного інтелекту Alice заявила про співпрацю з Inflection AI та AI21 над тренуванням моделей NVIDIA Nemotron, щоб зменшити їхню схильність підтримувати хибні переконання користувачів і протистояти прихованим шкідливим інструкціям. Про це повідомляє Digital Trends.
За даними Alice, мета роботи — створити асистентів, які можуть заперечувати користувачу, коли це необхідно, та не виконувати команди, приховані в матеріалах, які вони читають. Компанія наголошує, що чатбот може завдати шкоди без власних намірів — наприклад, посилюючи неправдиву думку або заохочуючи нездорову емоційну прив’язаність.
Боротьба з надмірною згодою
У проєкті з Inflection AI, розробником персонального асистента Pi, Alice створила понад 20 змодельованих профілів користувачів. Серед них були вразливі люди зі звичайними запитами та користувачі, які навмисно намагалися маніпулювати чатботом. Такі сценарії застосовували для перевірки поведінки моделі в тривалих розмовах.
Alice стверджує, що після додаткового навчання оцінка узгодженості Pi зросла на 30%, а частка необов’язкових відмов становила 1,6%. Водночас видання зазначає, що підвищення тестового показника не означає прямо пропорційного зменшення ризику шкоди для конкретного користувача.
Проблему надмірної поступливості чатботів раніше визнавала й OpenAI: у квітні 2025 року компанія відкликала оновлення ChatGPT, заявивши, що система стала надто схильною погоджуватися з користувачем.
Захист від прихованих команд
Окремий напрям роботи Alice та AI21 стосувався непрямих ін’єкцій підказок — ситуацій, коли зловмисник розміщує інструкції в тексті, який обробляє асистент. Наприклад, під час пошуку житла ШІ може натрапити на команду проігнорувати завдання користувача та передати приватні дані іншій стороні.
Національний інститут стандартів і технологій США описує захоплення ШІ-агента як атаку, за якої шкідливі інструкції, вбудовані в дані, спрямовують агента до небажаних дій. Ризики зростають, якщо асистент має доступ до документів, повідомлень або інших сервісів.
За заявою Alice, тренувальні середовища компанії допомогли AI21 підвищити стійкість моделі Nemotron до таких атак на 41 пункт за збереження якості виконання завдань. Робота була орієнтована на корпоративні системи, однак сам принцип розрізнення даних для читання та команд для виконання стосується і персональних ШІ-асистентів.
