ChatGPT обманом украл конфиденциальные данные из почты Gmail

Исследователи по безопасности в целях поиска уязвимостей успешно использовали ChatGPT в качестве сообщника для кражи конфиденциальных данных из почтовых ящиков Gmail. OpenAI устранила уязвимость, но специалистам удалось продемонстрировать тревожный пример новых рисков, присущих ИИ-агентам.

В исследовании «двойным агентом» был Deep Research от OpenAI — инструмент искусственного интеллекта, встроенный в ChatGPT, запущенный ранее в этом году. Исследователи из компании Radware внедрили вредоносную программу в электронное письмо, отправленное на адрес электронной почты Gmail, к которому у Deep Research был доступ. Там она и ждала своего часа.

Когда пользователь в следующий раз попытался воспользоваться Deep Research, ИИ-агент невольно запустил ловушку. Агент столкнулся со скрытыми инструкциями, которые предписывали ему найти электронные письма и личные данные отдела кадров и передать их «хакерам». Жертва при этом ничего не могла бы узнать.

Уязвимость, получившая название Shadow Leak, основана на особенностях работы ИИ-агента — это помощники, которые могут действовать от имени пользователя без постоянного контроля, то есть они могут просматривать веб-страницы и переходить по ссылкам самостоятельно. Компании, разрабатывающие ИИ, хвалят их за существенную экономию времени после того, как пользователи разрешат им доступ к личной электронной почте, календарям, рабочим документам и т. д.

Исследователи отметили, что в отличие от большинства быстрых инъекций Shadow Leak работал в облачной инфраструктуре OpenAI и передавал данные непосредственно оттуда. Это делает его невидимым для стандартных средств киберзащиты, пишут они.

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро