«Значительная угроза безопасности». Anthropic близка к созданию самоулучшающегося ИИ

Компания Anthropic, разработчик популярного чат-бота Claude, сообщила, что находится на пороге создания ИИ-модели, способной к рекурсивному самосовершенствованию, то есть стадии RSI. Она отметила, что в будущем, возможно, не сможет успевать внедрять защитные механизмы по мере саморазвития ИИ. Об этом написано в разделе «Факторы риска» документа, опубликованного Anthropic накануне.

RSI (Recursive self-improvement) — это точка, в которой ИИ настолько хорошо обучается сам, что это приводит к резкому ускорению развития его возможностей, поясняет TechCrunch.

Пессимистично настроенные в отношении ИИ люди полагают, что RSI может привести к безвозвратной катастрофе, в которой ИИ становится настолько мощным, что выходит из-под контроля человека и может быть безразличен к ущербу, который он наносит, достигая своих целей.

Однако, если посмотреть глазами энтузиастов ИИ, RSI — это та стадия развития искусственного интеллекта, при которой технология становится инструментом, открывающим невиданные возможности для повышения производительности, научных открытий и многого другого.

Похоже, в Anthropic считают, что рекурсивное самосовершенствование ИИ — одновременно и многообещающая перспектива, и потенциальная опасность. Компания сообщила, что использование ИИ для создания более совершенных систем «может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса».

«Все более широкое использование нами систем искусственного интеллекта для ускорения собственных исследований и разработок может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и внедрять соответствующие меры безопасности, согласования и защиты. В результате мы в прошлом не выявляли и, возможно, не выявим в будущем значительного ускорения темпов нашего развития до тех пор, пока оно не произойдет», — пишет Anthropic в своем отчете.

Однако компания также отметила, что ни одна из ее моделей еще не превысила порог RSI и что она обещает сохранить участие людей в процессе исследований и разработок в обозримом будущем.

Нравится читать Onlíner? Добавьте наши новости в «Основные источники» Google

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро