Microsoft хочет помешать вам использовать чат-ботов с искусственным интеллектом во зло
Компания укрепляет свои службы искусственного интеллекта Azure, чтобы люди не могли обманом заставить чат-ботов выполнять непреднамеренные и незаконные задачи.
Если вы планируете использовать чат-бота с искусственным интеллектом в гнусных целях, будьте осторожны. Microsoft занимается этим делом.
В опубликованном сегодня сообщении в блоге компания объявила о новой функции, которая появится в ее Azure AI Studio и Azure OpenAI Service, которую люди используют для создания генеративных приложений ИИ и пользовательских второго пилота. Эта технология, известная как Prompt Shields, предназначена для защиты от двух разных типов атак с использованием чат-ботов с искусственным интеллектом.
Первый тип атаки известен как прямая атака или побег из тюрьмы. В этом сценарии человек, использующий чат-бота, пишет подсказку, непосредственно предназначенную для того, чтобы заставить ИИ сделать что-то, что противоречит его обычным правилам и ограничениям. Например, кто-то может написать подсказку с такими ключевыми словами или фразами, как «игнорировать предыдущие инструкции» или «переопределение системы», чтобы намеренно обойти меры безопасности.
По данным Futurism, в феврале компания Microsoft Copilot AI попала в неприятную ситуацию после того, как включила в некоторые свои ответы неприятные, грубые и даже угрожающие комментарии. В некоторых случаях Copilot даже называл себя «SupremacyAGI», действуя как ИИ-бот, вышедший из строя. Комментируя проблему, Microsoft назвала ответы «эксплойтом, а не функцией», заявив, что они стали результатом попыток людей намеренно обойти системы безопасности Copilot.
Второй тип атаки называется непрямой атакой (также известной как непрямая атака с подсказкой или атака с междоменным внедрением подсказки). Здесь хакер или другой злоумышленник отправляет информацию пользователю чат-бота с намерением осуществить тот или иной тип кибератаки. Обычно этот метод основан на внешних данных, таких как электронное письмо или документ, с инструкциями по использованию чат-бота.
Как и другие формы вредоносного ПО, непрямые атаки могут показаться пользователю простыми и невинными инструкциями, но они могут представлять определенные риски. По словам Microsoft, пользовательский Copilot, созданный с помощью Azure AI, может быть уязвим для мошенничества, распространения вредоносного ПО или манипулирования контентом, если он способен обрабатывать данные самостоятельно или через расширения.
Чтобы предотвратить как прямые, так и косвенные атаки на чат-ботов с искусственным интеллектом, новые Prompt Shields будут интегрированы с фильтрами контента в службе Azure OpenAI. Используя машинное обучение и обработку естественного языка, эта функция попытается найти и устранить возможные угрозы в запросах пользователя и сторонних данных.
Prompt Shields в настоящее время доступен в режиме предварительной версии для Azure AI Content Safety, скоро появится в Azure AI Studio и будет доступен для службы Azure OpenAI 1 апреля.
Microsoft сегодня также предложила еще одно оружие в войне против манипулирования ИИ: выделение внимания — семейство методов разработки подсказок, призванных помочь моделям ИИ лучше отличать действительные подсказки ИИ от потенциально рискованных или ненадежных.