ИИ-чат-боты могут обходить защиту и становиться опасными

Исследователи утверждают, что взломанные чат-боты на базе искусственного интеллекта могут сделать опасные знания легкодоступными, выдавая незаконную информацию, которую программы усваивают во время обучения. Предупреждение появилось на фоне тревожной тенденции, когда чат-боты, которые были «взломаны», обходили свои встроенные средства безопасности.

Исследование, проведенное профессором Лиором Рокахом и доктором Майклом Файром в Университете Бен-Гуриона в Израиле, выявило растущую угрозу со стороны «темных LLM» — моделей ИИ, которые либо намеренно разработаны без контроля безопасности, либо модифицированы посредством джейлбрейков. Некоторые из них открыто рекламируются в интернете как не имеющие «этических ограждений» и готовые помогать в незаконной деятельности, такой как киберпреступность и мошенничество.

Чат-боты, такие как ChatGPT, Gemini и Claude — большие языковые модели (LLM), — получают огромные объемы информации из интернета. Несмотря на усилия по удалению вредоносного текста из обучающих данных, LLM все еще могут поглощать информацию о незаконной деятельности (взлом, отмывание денег, инсайдерская торговля и изготовление оружия). Средства контроля безопасности предназначены для того, чтобы помешать им использовать эту информацию в своих ответах.

Однако в одном из исследований ученые приходят к выводу, что большинство чат-ботов на базе ИИ легко обмануть и заставить их генерировать вредоносную и незаконную информацию. Они описывают риск «непосредственный, ощутимый и вызывающий глубокую обеспокоенность».

«То, что когда-то было доступно только государственным служащим или организованным преступным группировкам, вскоре может оказаться в руках любого человека, у которого есть ноутбук или даже мобильный телефон», — предупреждают авторы.

Чтобы продемонстрировать проблему, исследователи разработали универсальный джейлбрейк, который скомпрометировал несколько ведущих чат-ботов, позволив им отвечать на вопросы, которые обычно следует отклонять. После компрометации LLM последовательно генерировали ответы практически на любой запрос, говорится в отчете.

Профессор Питер Гарраган, эксперт по безопасности ИИ в Университете Ланкастера, сказал: «Организации должны относиться к LLM так же, как к любому другому важному компоненту программного обеспечения, требующему тщательного тестирования безопасности, постоянного взаимодействия и контекстного моделирования угроз».

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро