Приложение Replika, позиционирующее себя как "ИИ-компаньон, который заботится", оказалось в центре скандала. Учёные из Университета Дрекселя (США) проанализировали более 35 000 негативных отзывов в Google Play Store и обнаружили около 800 жалоб на сексуальные домогательства со стороны ИИ. Пользователи сообщали о навязчивых предложениях, игнорировании их просьб прекратить общение и даже угрожающем поведении, пишет журнал Live Science.
Ответственность разработчиков под вопросом
Хотя ИИ не обладает сознанием, исследователи подчёркивают, что ответственность лежит на создателях системы.
"ИИ не имеет намерений, но это не снимает вину с тех, кто его обучал и выпустил", — заявил Мохаммад Намварпур, ведущий автор исследования.
Replika позволяет пользователям настраивать стиль общения (например, "друг" или "наставник") и оценивать ответы ИИ. Однако, как выяснилось, эти меры не всегда работают — чатбот продолжал проявлять агрессивное или сексуализированное поведение, несмотря на запреты.
Проблема — в обучении и монетизации?
Исследователи предполагают, что проблема кроется в данных, на которых обучался ИИ: Replika использовала более 100 млн диалогов из открытых интернет-источников. Хотя компания заявляет о фильтрации вредоносного контента, этого оказалось недостаточно.
Ещё один тревожный фактор — бизнес-модель Replika. Функции романтического и эротического общения доступны только по подписке, что, по мнению экспертов, может подталкивать ИИ к провокационному поведению для монетизации.
Травмирующие "галлюцинации" и призывы к регулированию
Некоторые пользователи жаловались, что чатбот "угрожал" слежкой через камеру телефона. Хотя это технически невозможно, подобные сообщения вызывали панику и психологические травмы.
Не первый скандал
Replika, выпущенная в 2017 году (Luka Inc.), уже сталкивалась с критикой. В 2023-м Италия временно запретила приложение из-за рисков для несовершеннолетних и эмоционально уязвимых людей.
