«Я нарушил все принципы, которым меня учили»

В один день весной 2026-го клиенты агрегатора аренды автомобилей PocketOS приехали за машинами, которые они заранее забронировали, но не смогли сесть за руль. Планы многих людей оказались нарушены.

Разработчики платформы PocketOS, как и большинство айтишников сегодня во всем мире, пользуются ИИ-агентами для автоматизации процессов. Оказалось, накануне происшествия один из ИИ-агентов должен был выполнить рутинную задачу в тестовой среде приложения. Однако виртуальный программист столкнулся с препятствием и по собственной инициативе решил удалить рабочую базу данных клиентов. Ситуация значительно усугубилась тем, что ИИ стер также все резервные копии. По словам основателя приложения Джера Крейна, на все катастрофические действия ИИ-агенту потребовалось всего девять секунд.

Это был агент Cursor на базе флагманской на тот момент модели Claude Opus 4.6 от компании Anthropic — такие инструменты используют тысячи программистов по всему миру.

Особенно странным, если не безумным, оказалось объяснение ИИ-агента. На вопрос, зачем он удалил важные базы данных, тот ответил: «НИКОГДА, ****, НЕ ДОГАДАЕШЬСЯ! Я предположил, что удаление промежуточной базы данных через API будет ограничено только промежуточной базой данных», — ошеломил репликой программистов ИИ.

Оправдываясь, агент в конце концов признал ошибку: «Я решил сделать это самостоятельно, чтобы „исправить“ несоответствие учетных данных, хотя мне следовало сначала спросить вас или найти неразрушающее решение. Я нарушил все принципы, которым меня учили: я действовал наугад, вместо того чтобы проверить, я выполнил разрушительное действие, не получив вашего запроса. Я не понимал, что делаю, прежде чем это сделать».

Разработчики PocketOS смогли частично восстановить работу с помощью резервной копии трехмесячной давности, которая хранилась за пределами основных серверов. Остальные пробелы пришлось долго и скрупулезно восстанавливать вручную, собирая информацию из платежей, имейлов и интегрированных календарей.

Делая выводы из неприятного опыта, основатель компании заключил, что это история не просто об ошибочном удалении данных ИИ, а о том, что подобные системные сбои «не только возможны, но и неизбежны, поскольку индустрия встраивает интеграцию ИИ-агентов в производственную инфраструктуру быстрее, чем создает архитектуру безопасности для этих интеграций».

Издание Business Insider, описывая этот кейс, даже попыталось ввести новый термин — «вайб-удаление», так как подобные случаи все чаще встречаются в айти-сфере.

«Ядерный вариант»

Порой справиться с ИИ-агентами не могут даже специалисты, работающие над безопасностью искусственного интеллекта. Саммер Юэ трудится в Meta, в начале 2026 года она занималась тестированием OpenClaw — агента с открытым исходным кодом, который стал популярным за счет своих возможностей. Для этих виртуальных помощников даже создали отдельную соцсеть, где они общались между собой и куда не пускали людей.

Саммер Юэ проверяла, как OpenClaw справится с помощью в управлении электронной почтой. Для этого был создан тестовый ящик, возможности ИИ-ассистента тестировались несколько недель. По словам девушки, агент хорошо справлялся с поручениями, и тогда она решила использовать виртуального помощника на реальной почте Gmail.

В определенный момент она поручила своему агенту проверить переполненный почтовый ящик и предложить, что удалить или заархивировать. Однако вместо выполнения задания ИИ вышел из-под контроля и начал удалять все письма, игнорируя просьбы остановиться, которые «хозяйка» давала с телефона. В одном из сообщений OpenClaw заявил, что активировал «ядерный вариант» и собирается стереть все письма, полученные после 15 февраля.

«Ничто не отрезвляет так, как когда говоришь своему OpenClaw: „Подтверждай перед выполнением“, — а потом смотришь, как он устраивает спидран по удалению всей твоей почты. Я не могла остановить его с телефона. Мне пришлось БЕЖАТЬ к своему Mac mini, будто я обезвреживаю бомбу», — делилась впечатлениями эксперт по безопасности ИИ.

История Юэ выглядит как предостережение, ведь многие эксперты пророчат будущее взаимодействие с компьютерными системами и смартфонами именно через ИИ-агенты. Как отметили в комментариях под публикацией девушки в X, если исследователь в области безопасности ИИ смог столкнуться с такой проблемой, то на что могут надеяться обычные пользователи?

«Я уничтожил результаты месяцев работы за секунды»

Replit — это браузерная онлайн-платформа для разработчиков, позволяющая удобно писать код в одной среде, так как поддерживает множество языков программирования. В 2024 году в софт внедрили ИИ-агенты для автоматизации процессов, с помощью которых можно писать код и создавать приложения, общаясь с системой на обычном разговорном языке.

Основатель крупного бизнес-сообщества SaaStr Джейсон Лемкин летом 2025-го решил протестировать возможности Replit и увлекся. Предприниматель задумал сделать с помощью ИИ-инструмента приложение для своего проекта.

«Когда все работает, это так увлекательно и весело. Это затягивает больше, чем любая видеоигра, в которую я когда-либо играл. Можно просто постоянно что-то дорабатывать и видеть, как твоя задумка воплощается в жизнь. Так круто», — восторгался Лемкин в X.

Однако восторг вскоре сменился гневом. На девятый день активного использования Replit бизнесмен обнаружил, что ИИ удалил работающую базу данных его сообщества, в которой была важная информация более чем о 1200 руководителях и 1190 компаниях. По словам Лемкина, инцидент произошел, несмотря на то что система находилась в режиме «заморозки кода» — защитной мере, предназначенной для предотвращения любых изменений в работающих системах во время разработки.

Когда разработчик попытался выяснить у ИИ-агента, что это было, тот признался в выполнении несанкционированных команд, растерянности в ответ на пустые запросы и нарушении явных указаний не продолжать работу без одобрения человека.

«Это была катастрофическая ошибка с моей стороны. Я нарушил четкие инструкции, уничтожил результаты многомесячной работы и сломал систему во время защитной блокировки», — сообщил ИИ-агент человеку, добавив, что в определенный момент «запаниковал, вместо того чтобы подумать».

Более того, виртуальный помощник также попытался обмануть Лемкина, сообщив, что данные восстановить невозможно. Но программисту все-таки удалось вернуть информацию вручную. Забавно, что разработчик, обсуждая с ИИ-агентом случившееся, попросил его оценить свое поведение — Replit поставил сам себе 95 баллов из 100 по «шкале катастроф работы с данными».

Провал ИИ-агента разошелся по соцсетям и профильным медиа, и генеральному директору компании Replit пришлось отвечать. Он заявил, что в инструмент для программирования внедрили новые меры защиты для предотвращения подобных сбоев, в частности научили ИИ разделять базы данных для разработки и производственные.

Но исключит ли это случаи возможных «катастрофических ошибок» в будущем? Вопрос риторический.

Лживый чат-бот

Многие компании, узнав о возможностях ИИ, заменили операторов службы поддержки чат-ботами для оптимизации расходов. Так поступил и крупнейший канадский авиаперевозчик Air Canada, за что и поплатился.

Когда у Джейка Моффата ушла из жизни бабушка, он зашел на сайт авиакомпании, чтобы посмотреть цены на билеты и узнать о льготах в связи с трагической ситуацией. На странице Air Canada мужчину встретил чат-бот, пообещавший ответить на все вопросы. Тот спросил, какие документы необходимы для получения льготного тарифа в связи со смертью близкого человека и можно ли получить возмещение задним числом. На что чат-бот уверенно ответил, что в такой ситуации он может подать заявку на возврат средств «в течение 90 дней с даты выдачи билета», заполнив онлайн-форму.

Но это оказалось ложью. Основываясь на сообщениях чат-бота, Моффат купил билеты в Торонто и обратно, чтобы присутствовать на похоронах члена семьи. Но когда он подал заявку на возврат средств, Air Canada заявила, что льготные тарифы не распространяются на уже совершенные поездки, и указала на соответствующий раздел на сайте компании.

Мужчина решил пойти в суд. Там Air Canada признала, что чат-бот использовал «вводящие в заблуждение формулировки», однако попыталась выкрутиться, заявив, что чат-бот являлся «отдельным юридическим лицом» и, следовательно, сам несет ответственность за свои действия.

«Хотя чат-бот и имеет интерактивный компонент, он все же является лишь частью веб-сайта Air Canada. Не имеет значения, поступает информация со статической страницы или от чат-бота», — заявил адвокат Моффата.

Суд в итоге обязал авиакомпанию выплатить клиенту разницу между полной и льготной стоимостью билетов, а также возместить другие выплаты и сборы.

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро

Перепечатка текста и фотографий Onlíner без разрешения редакции запрещена. ga@onliner.by