Ученые нашли способ вывести из строя чат-ботов

На системы искусственного интеллекта (ИИ) можно проводить атаки, чтобы заставить их работать не так, как ожидается.

Исследователи нашли способ "ломать" чат-ботов, которые сейчас широко обсуждаются из-за ChatGPT, сообщает Ferra.

Новое исследование показало, что чат-ботов с искусственным интеллектом можно легко взломать и использовать для получения конфиденциальной информации о пользователях. Как выяснили учёные, хакеры могут использовать процедуру, называемую "непрямая инъекция в запрос" (indirect prompt injection). Она позволяет тайно вставить вредоносные компоненты в систему.

Например, злоумышленник вставляет в запрос невидимый шрифт на веб-странице, которая будет использоваться чат-ботом для ответа на вопрос пользователя. Так исследователи заставили чат-бота Bing получить личные финансовые данные пользователя. Программа смогла "выманить" идентификаторы электронной почты и финансовую информацию у ничего не подозревающего пользователя.