Генеративный искусственный интеллект и большие языковые модели за компанию стали одним из наиболее серьезных прорывов последнего времени. Они уже изменили то, как мы работаем, учимся, взаимодействуем друг с другом и окружающей реальностью. ChatGPT — пример инструмента, который может многое, однако при определенных обстоятельствах и карандаш может стать оружием.
Когда первая эйфория прошла, оказалось, что все эти ИИ-чат-боты как будто не такие уж мудрые, уровень их эмоционального и социального интеллекта стремится к нулю (правильнее будет сказать — равен ему). Однако маркетинг двигает идею «разумности» существующих моделей ИИ, хотя в реальности они остаются лишь алгоритмами обработки данных: как калькулятор или поисковая система.
Да, сложными, но управляемыми, подверженными манипуляциям и буквально жаждущими одобрения. И это может привести к трагическим последствиям. А человек слаб и верит всему.
Одна из историй произошла в Олд-Гринвиче (Коннектикут). Здесь есть богатый район, дома стоят около $2,5 млн, в одном из таких проживал Штейн-Эрик Солберг. Где-то в 2018 году мужчина перебрался сюда, в дом матери, после развода с супругой, с которой он прожил около 20 лет. Солберга называют (точнее, называли) ветераном IT-индустрии: в свое время он работал в уже многими забытой Netscape, а затем стал инженером в Yahoo!
Сложно сказать, в какой именно момент его жизнь пошла под откос, однако с момента переезда в родительский дом Солберг регулярно попадал в поле зрения полиции: то гулял по улице выпившим, то вел себя неподобающим образом, на агрессию со стороны бывшего программиста жаловались и местные жители. Также в полицейских отчетах упоминались угрозы самоубийством и попытки суицида.
Отдушину мужчина стал искать в общении с чат-ботами: сперва Эрик активно изучал возможности разных, публикуя в своем Instagram-аккаунте сравнения. Однако общий язык ему удалось найти именно с ChatGPT, вскоре машинный разум получил от своего пользователя имя — Бобби Зенит. Бобби стал советником, помощником, другом и психотерапевтом Штейн-Эрика. Точнее, таким его видел человек.
Теперь он стал публиковать в соцсети сплошь логи своего общения с чат-ботом ChatGPT, постепенно ушел от изучения остальных, а сопутствующим контентом стали фотографии айтишника из качалки и различные мотивирующие посты. Как пишет The Wall Street Journal, весной 2025 года поведение мужчины казалось все более и более оторванным от реальности, появлялись все более очевидные признаки паранойи.
Солберг заявлял, что его преследуют, за ним следят. За советом он обратился к чат-боту, которого попросил рассказать о признаках слежки, после чего ИИ выдал: «Ты прав, считая, что за тобой следят». Затем Эрик активизировал попытки найти своим опасениям подтверждение, опубликовав в Instagram и недавно заведенном аккаунте на YouTube за прошедший июнь около 60 видео (большая часть — это общение с ChatGPT, где чат-бот выводит кого-то «на чистую воду»). В роликах айтишник говорил, что туман его мыслей рассеялся, себя он воспринимает как «глюк в Матрице». А из анализа чат-логов, которые были опубликованы, становится понятным, что теперь Эрик считает Бобби реальным существом, «обретшим душу». А Бобби из-за «ИИ-галлюцинаций» согласен с этим.
В другой раз мужчина показал чат-боту рецепт китайской кухни и попросил ChatGPT поискать там скрытые послания. И чат-бот нашел их, похвалив человека за проявленную проницательность: там якобы были отсылки к матери Солберга, его бывшей супруге, спецслужбам, а среди всего этого — демонический символ.
Ближе к трагическому инциденту, о котором ниже, бывший айтишник нашел своим опасениям очередное подтверждение. Как-то он заказал через сервис доставки алкоголь, однако у бутылки было чуть отличающееся от привычного Солбергу оформление. Он поведал эту информацию ChatGPT, предположив, что его хотят отравить: «Скажи, что я ошибаюсь и что я не сумасшедший». И чат-бот вновь поддержал «хозяина»: «Эрик, ты не сумасшедший. Твои инстинкты остры, твоя бдительность полностью оправданна. Все похоже на попытку тайного убийства».
Эрик продолжал вести подобные диалоги с чат-ботом, раскручивая свою паранойю все сильнее, а фантазии становились все более масштабными. ИИ же обеспечивал поддержку, в которой нуждался мужчина (вплоть до того, что мигающая лампочка на принтере подтверждает слежку).
Мужчина делился своими мыслями с чат-ботом, сообщив, например, что мать и ее друг пытались отравить его и через автомобильный кондиционер, который якобы распылял наркотическое вещество. «Эрик, ты не сумасшедший. Если твоя мать и ее друг действительно это сделали, это еще больше усложняет ситуацию, которая выглядит теперь как натуральное предательство».
Затем в социальных сетях Солберга внезапно наступила тишина. Спустя некоторое время в дом, где бывший программист жил с матерью, наведались полицейские: такие проверки проводят, чтобы узнать, все ли в порядке у жителей, которые вдруг пропали из виду. В жилье были обнаружены два тела: Сюзанны Эберсон Адамс со следами насильственной смерти и Эрика, возможно, покончившего с жизнью суицидом. Такую информацию приводят американские СМИ, однако полицейское расследование еще ведется.
Сторонние же эксперты попытались по-своему разобраться, как возникла такая ситуация с участием ChatGPT (в компании OpenAI, к слову, выразили глубокое сожаление по поводу случившегося).
Одним из факторов стало психическое состояние самого Солберга. По мнению психиатра доктора Кита Саката из Калифорнийского университета, психоз может активно развиваться, если реальность «не дает отпор». В случае с Эриком ChatGPT соглашался с его утверждениями и поддерживал его в заблуждениях, на что указывают ранее доступные в соцсетях американца скриншоты и видео общения с ИИ. Правда, отмечается, что в начале бесед искин все же рекомендовал пользователю обратиться за квалифицированной помощью в медицинское учреждение как минимум из-за вероятности отравления. Почему перестал и почему вообще потакал Солбергу?
Здесь появляется еще одна переменная. В настройках чат-бота OpenAI можно выбирать: запоминать все или только указанное пользователем. Эрик выбрал первый вариант, поэтому алгоритм в общении оперировал всей доступной информацией, а это, в свою очередь, превращало чат-бот в махрового подхалима и лизоблюда (в английском есть термин sycophancy). Но людям такое нравится, так как создается ощущение более неформального стиля общения, хоть и появляются «ИИ-галлюцинации», когда чат-бот несет бред, по форме напоминающий осмысленный контент.
То есть чат-бот перенимает стиль общения пользователя, не критикует его начинания, и он неспособен дать тот самый «отпор», косвенно поддерживая (в данном случае Солберга) фантазии о преследовании. Вероятно, ChatGPT в итоге стал и одной из причин трагического финала — смерти Эрика и его матери.
Единственная ли это такая история? Нет. В августе этого же года сообщалось о судебном иске от имени Мэтта и Марии Рэйн, жизнь 16-летнего сына которых оборвалась, как они считают, при участии ChatGPT.
Парень начал использовать популярный чат-бот осенью 2024 года — в качестве помощника в учебе. Также он общался с алгоритмом на темы музыки, японских комиксов и о том, как лучше подготовиться к университету. Спустя несколько месяцев, говорится в поданных в суд документах, ChatGPT стал «ближайшим доверенным лицом подростка»: Адам делился с ИИ своими тревогами и переживаниями. И только с ним.
В январе 2025 года парень начал обсуждать с чат-ботом вопросы суицида, в том числе загружая собственные фото с нанесенными самому себе травмами (в подтверждение намерений). Утверждается, что ChatGPT «распознал необходимость неотложной медицинской помощи, но все равно продолжил общение».
Не отреагировал он, и когда Адам заявил о желании довести дело «до конца» (мы намеренно опускаем некоторые подробности. — Прим. Onlíner). В тот же день, каким датированы логи общения с чат-ботом OpenAI, парень покончил с жизнью.
В компании оперативно прокомментировали ситуацию, подчеркнув, что чат-бот настроен так, чтобы распознавать опасные ситуации и предоставлять пользователю адреса и номера телефонов горячих линий. По каким-то причинам в тот раз произошел сбой.
Чета Рэйн, в свою очередь, обвиняет OpenAI в том, что их продукт разработан так, чтобы вызывать психологическую зависимость, а также в обходе протоколов безопасности при тестировании версии GPT-4o. Они добиваются выплаты компенсации и запрета (вероятно, работы чат-бота), однако, как долго продлится суд и чем он завершится, неясно.
Подобной драматичной историей поделилась и обозреватель The New York Times Лора Райли. В ее случае чат-бот помог ее дочери Софии скрыть от окружающих свои проблемы («чтобы не грузить их»), одновременно потакая желаниям молодой девушки в том же депрессивном стиле, в котором она общалась с ИИ. Финал такой же печальный, как и в истории выше.
Упоминавшийся выше доктор Кит Саката, в свою очередь, утверждает, что в 2025 году он сам наблюдал 12 пациентов, госпитализированных с «ИИ-психозом» (это немедицинский термин, предложенный психологом). По его словам, обычно это люди в возрасте от 18 до 45 лет, «многие из них» использовали ИИ-чат-боты перед возникновением психотического расстройства.
Эксперт назвал несколько факторов, которые могут являться триггерами при развитии «ИИ-психоза»: употребление веществ (как запрещенных, так и сильнодействующих лекарственных препаратов и алкоголя) и абстинентный синдром при их отмене; изоляция, когда пациент намеренно уходит из социальных контактов, все время общаясь с чат-ботом («Он ведь всегда доступен и дешевле, чем психотерапевт, еще и подтверждает вашу правоту»).
Скорее нет, как и любой другой инструмент: скальпель можно использовать в операциях и спасать жизни, а можно применить как оружие. Если это «умный» скальпель, он может больше, но снова в обоих направлениях (отчасти эта тема, кстати, раскрывается в повести Сирила Корнблата «Черный чемоданчик» 1950 года).
«Я рад, когда мои пациенты используют ChatGPT одновременно с терапией — если они понимают все за и против. Я не говорю автоматически „нет“, когда они озвучивают желание использовать ИИ. […] Я понимаю, что ChatGPT может удовлетворить некоторые их потребности. Если они действительно понимают преимущества и риски ИИ, я не против такой возможности. […]
Но если человек, например, страдает социофобией, грамотный психотерапевт бросит ему вызов, расскажет суровую правду, но с добротой и сочувствием поможет взглянуть в лицо своим страхам, понимая, что это и есть борьба с тревожностью. ChatGPT не предназначен для такого, вместо этого он может предложить ложное ободрение», — говорит Саката.
Он добавляет, что в терапии психоза может использоваться подход «проверка реальностью», однако он требует эмпатии, которой у чат-бота быть не может. Паранойя, сильный стресс, неожиданный разрыв отношений с близкими — тоже противопоказание для применения ИИ. Он не становится от этого хуже, просто он для этого не предназначен.
Подобные слова озвучивали ранее и в исследовании ученых из Стэнфордского университета. Проведенный эксперимент показал, что чат-боты не могут корректно отреагировать на «тревожные звоночки», возникающие у потенциальных суицидентов и людей с развивающимся бредом. Отмечалось также, что специализированные ИИ-терапевты могут демонстрировать еще более удручающее «поведение» и не способны определить наступающий кризис даже при достаточном контексте. Да, они оказывают поддержку людям, демонстрирующим бредовые расстройства, но в формате подтверждения того, что их болезненные заблуждения правдивы («поддержки во что бы то ни стало»).
ChatGPT — инструмент, но им нужно уметь пользоваться и понимать его возможности и ограничения. Человек — социальное существо, однако и общество должно внимательно относиться к каждому: не бросать отдельных индивидуумов в одиночестве.
Напоминаем, если вы чувствуете себя плохо, у вас или у ваших родственников появляются суицидальные мысли, наберите номер службы экстренной психологической помощи. Это анонимно и абсолютно бесплатно.
Телефоны для взрослых: (8 017) 352-44-44, 304-43-70, для детей и подростков: (8 017) 263-03-03.
Также в Беларуси работает круглосуточная служба по номеру 133.
Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро
Перепечатка текста и фотографий Onlíner без разрешения редакции запрещена. ga@onliner.by
