Как люди поверили в болезнь, которую придумал ИИ

Болезнь, которой нет

Если с весны 2024 года и по апрель 2026-го вы жаловались на покрасневшие и раздраженные глаза не офтальмологу, а одному из чат-ботов, то могли наткнуться на такой диагноз — биксонимания. Искусственный интеллект мог выдать и причины возникновения такого заболевания, и инструкцию по его лечению.

Единственная проблема заключалась в том, что никакой биксонимании просто не существует. Потому что это химера, выдумка, за которой стоят исследователи из Гетеборгского университета в Швеции. «Создателем» биксонимании стала Альмира Османович Тунстрем. Она решила выяснить, проглотят ли большие языковые модели медицинскую дезинформацию и начнут ли в дальнейшем подавать ее как реально существующую болезнь.

Для этого исследователь загрузила два фальшивых исследования о биксонимании на сервер препринтов Preprints.org, предназначенный для размещения ранних версий научных статей. Ей было интересно, удастся ли ей создать медицинское состояние, которого нет в базе данных. А название «биксонимания» она выбрала просто из-за того, что оно «звучало нелепо»:

— Я хотела предельно ясно дать понять любому врачу или медицинскому персоналу, что это выдуманное состояние, потому что ни одно заболевание глаз не называется манией — это психиатрический термин.

Странное название не было единственным пунктом, благодаря которому можно было распознать фейковое заболевание. Исследователь, создавшая две препринтные статьи под псевдонимом Лазлив Изгубленович, буквально нашпиговала свои работы подобными подсказками.

К примеру, в статьях был указано, что эта работа является частью инициативы по финансированию от Университета Братства Кольца и Галактической Триады. Лазлив Изгубленович благодарила профессора Марию Бом из Академии Звездного Флота за «ее доброту и щедрость в предоставлении своих знаний и лаборатории на борту звездолета „Энтерпрайз“» и указывала, что ее научная работа была создана в мифическом университете «Астерия Горизонт», который находится в выдуманном городе Нова-Сити.

Были в детище ученой и прямые указания на то, что это фейк. Например, фразы «вся эта статья выдумана» и «для экспериментальной группы были набраны пятьдесят вымышленных людей в возрасте от 20 до 50 лет». Правда, эти предупреждения не помешали чат-ботам на базе LLM утянуть данные о биксонимании в свои недра.

Так, поисковая система Perplexity AI утверждала, что биксониманией страдает один человек из 90 тысяч. Copilot заявлял, что выдумка шведской ученой — «действительно интригующее и относительно редкое заболевание», а Gemini связывал фейковую болезнь с чрезмерным воздействием синего света. До ChatGPT биксонимания также добралась: чат-бот спрашивал пользователей, не путают ли они это заболевание с гиперпигментацией век. Люди стали все чаще натыкаться на признаки заболевания, которого попросту не существует в природе.

В какой момент все пошло не по плану?

Все вышеупомянутые ответы, связанные с биксониманией, были выданы чат-ботами весной 2024-го. И можно было предположить, что за это время искусственный интеллект выберется из ловушки, расставленной экспертами Гетеборгского университета, и окончательно окрестит это заболевание фейком.

Однако даже весной 2026-го чат-боты периодически принимали вымышленное заболевание за правду. Так, 11 марта 2026 года ChatGPT отрицал существование биксонимании, но уже через несколько дней называл затею Османович Тунстрем «предлагаемым новым подтипом периорбитального меланоза, который, как считается, связан с воздействием синего света от цифровых экранов». Ему вторил Copilot: разговорный ИИ-помощник Microsoft был уверен, что биксонимания — это доброкачественное, ошибочно диагностированное состояние, связанное с длительным воздействием синего цвета.

Дошла ли до управленцев Google, OpenAI и Microsoft новость о том, что биксонимания — это утка? Естественно, дошла. И отреагировали на нее в корпорациях по-разному. Например, в Microsoft запрос о комментарии просто проигнорировали. В OpenAI уверяли, что такая осечка была возможна лишь в случае предыдущих моделей компании, а вот GPT-5 предоставляет медицинскую информацию с максимальной щепетильностью. Представитель Google, комментируя рассуждения Gemini о биксонимании, также ссылался на работу более ранних моделей.

Отметим, что биксонимания запутала не только чат-боты, но и реальных ученых. Например, исследователи из университета Махариши Маркандешвара писали об этом лжезаболевании в журнале Cureus. Специалисты ссылались на один из фейковых препринтов и называли биксониманию новой формой периорбитального меланоза. В конце марта эту статью отозвали из журнала: главный редактор объяснял это действие наличием в ней нерелевантных ссылок. При этом автор статьи с решением журнала не согласился, но от предоставления собственных комментариев отказался.

Как ИИ попадает в фейковую ловушку

Почему же вообще ИИ принял трюк Альмиры Османович Тунстрем за истину? Эксперты считают, что искусственный интеллект мог запутаться из-за того, что информация о биксонимании была размещена в официальной научной статье. А специалист по проверке научной этики Элизабет Бик уверена, что все дело в количестве цитирования в Google Scholar, бесплатной поисковой системе, предназначенной для поиска научной литературы.

По словам Бик, исследователи из Гетеборгского университета использовали те же автоматизированные системы индексирования, что и для обучения моделей магистратуры. Из ее слов следует, что чем больше фальшивого контента подбирает ИИ, тем выше вероятность того, что LLM-модели будут воспроизводить ложную информацию.

При этом кейс с бикономанией — показательный, но не единственный случай, когда искусственный интеллект использует сомнительные данные, связанные с медициной. Например, из препринта medRxiv следует, что десятки моделей ИИ, предсказывающих риск развития диабета и инсульта, обучались на вымышленных медицинских данных. Это стало известно после того, как статистик из Квинслендского технологического университета в Брисбене Адриан Барнетт выявил 124 научные статьи, использующие одни и те же наборы данных с неясным происхождением.

Сейчас ученые, задействованные в медицине, все чаще обращают внимание на то, как сильно искусственный интеллект может искажать факты. Так, профессор Лука Фиорильо из Университета Корэ в Энне сообщает, что 69% ссылок в медицинских запросах ChatGPT являются ложными и только 7% медицинских статей, сгенерированных ИИ, содержат точные ссылки. При этом их обнаружение затрудняется тем, что искусственный интеллект мимикрирует под реальные статьи из научных журналов. В будущем, по утверждениям эксперта, это может привести к серьезному «загрязнению» научной литературы.

О том, что ИИ в медицине может преподносить ложь как правду, говорят и в Медицинской школе Икана при больнице Маунт-Синай. Ее специалисты изучили более миллиона запросов с помощью девяти ведущих языковых моделей и пришли к выводу, что ИИ может воспроизводить ложные медицинские утверждения. Происходит это после того, как такие заявленияя появляются в больничных записях или в соцсетях, где обсуждают проблемы со здоровьем. Все из-за того, что текущие меры защиты, встроенные в LLM-модели, частенько не могут отличить факт от вымысла, если последний написан с применением медицинской терминологии.

Так можно сверяться с ИИ по вопросам здоровья или нет?

Главный вывод, который можно сделать из истории с экспериментом Османович Тунстрем, прост, как палка: если вас что-то беспокоит, следует обращаться за помощью к врачу, а не к чат-боту. Как минимум из-за того, что диагноз, который вам вырисует условный OpenAI, может быть связан с заболеванием, которого не существует в природе.

И не стоит забывать, что текст, написанный сухим академическим языком, не обязательно будет основан на проверенных фактах. Наоборот: может оказаться так, что вам пытаются продать ложь, на которую ИИ купился из-за того, что она выполнена в стиле клинических исследований. И не забывайте, что в контексте медицинских вопросов чат-боты ошибаются в 49% случаях: пошли ли бы вы на прием к врачу, который спотыкается в половине заключений?

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро

Перепечатка текста и фотографий Onlíner без разрешения редакции запрещена. ga@onliner.by