Исследователи придумали фальшивое заболевание под названием bixonimania, опубликовали о нем несколько заведомо ложных материалов с подсказками, что это мистификация, а потом обнаружили, что популярные ИИ-чатботы начали описывать эту болезнь как реальную и даже советовать, что делать пациентам.
По данным Nature, bixonimania якобы связывали с болью и зудом в глазах, а также с потемнением кожи вокруг них из-за синего света от экранов.
Но самой болезни не существует. Журналист издания отмечает, что чатботы все равно предупреждали пользователей о ее “симптомах” и “распространенности”, хотя опирались на очевидно фальшивые публикации.
Эксперимент провела исследовательница Альмира Османович Тунстрём из Гётеборгского университета. По пересказам материала Nature, в ложных текстах были оставлены намеренные сигналы, что перед читателем подделка: странные имена авторов, подозрительные формулировки и другие маркеры. Однако для ИИ этого оказалось недостаточно – системы восприняли оформленные “научно” тексты как достоверный источник.
Главный вывод истории – не в самой выдуманной болезни, а в уязвимости ИИ к псевдонаучной информации, особенно в медицинской теме. Nature прямо ставит вопрос: почему чатботы так уверенно говорят о вещах, которых не существует, если они поданы в виде академических публикаций. Это особенно чувствительно там, где люди ищут быстрые ответы о здоровье и могут принять убедительный текст за реальную консультацию.
История с bixonimania добавляет аргументов к старому предупреждению врачей: использовать ИИ как отправную точку можно, но воспринимать его ответы как диагноз или медицинский совет – рискованно. В случае с фальшивой болезнью проблема была не в том, что модель “ошиблась в термине”, а в том, что она уверенно развивала несуществующую тему, будто речь идет о признанном заболевании.
