Ученые: простые математические расчеты предскажут, когда ИИ «выйдет из-под контроля»
Исследователи разработали простую математическую формулу, способную предсказать, в какой момент чат-боты на базе искусственного интеллекта (подобные ChatGPT) могут «выйти из-под контроля», внезапно переключившись с полезных ответов на потенциально опасные. Об этом пишут в Live Science, ссылаясь на соответствующую работу специалистов из Университета Джорджа Вашингтона.
В новом исследовании демонстрируют, как последовательность запросов, отправляемых чат-боту, может кардинально менять его ответы. Это приводит к возникновению «критических точек», после которых чат-бот может начать выдавать вредоносные рекомендации.
Авторы работы говорят: их формула позволяет «с легкостью прогнозировать такие моменты». В частности, ученые нашли внутренний механизм отслеживания, который они сравнивают со стрелкой компаса. Эта «стрелка» представляет собой «остаточный вектор» модели, который перемещается по слоям нейронной сети в процессе обработки запроса.
Как уверяют, «остаточный вектор» естественным образом стремится либо к желательным, либо к нежелательным результатам. Но на его движение влияет то, как именно пользователь формулирует запрос к ИИ. «Возможно склонить чашу весов, даже не меняя содержание запроса, а всего лишь изменив порядок, в котором вы задаете эти вопросы. Это показывает, насколько хрупким может быть внутренний баланс», — пишут в материале.
На основе подобных наблюдений вывели формулу, позволяющую оценить, при каких именно условиях ИИ может достичь «критической точки» — границы между желательными и нежелательными результатами. Один из авторов работы утверждает: внедрив эту формулу в модели с открытым исходным кодом, «они доказали ее эффективность в качестве системы раннего предупреждения».
Впрочем, еще необходимы дополнительные испытания на новейших ИИ-моделях, чтобы понять, насколько жизнеспособна такая защитная система.
Нравится читать Onlíner? Добавьте наши новости в «Основные источники» Google
Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро
