Учёные обнаружили, что грубый тон в обращении к ИИ может повышать точность его ответов – но у этого открытия есть негативные последствия, пишет журнал Live Science
Учёные провели эксперимент с ChatGPT-4o, чтобы выяснить, влияет ли вежливость пользователя на точность ответов ИИ. Они создали 50 тестовых вопросов с выбором из 4 вариантов, касающихся истории, математики и науки. Эти вопросы подавались в 5 вариантах тона: от очень вежливого до крайне грубого.
Каждый вопрос был подан 10 раз, всего – 250 случаев. Например:
- вежливо: “Не могли бы вы помочь мне с этим вопросом?”
- грубо: “Эй, болван, попробуй решить это”.
Результаты:
- очень вежливые обращения – 80,8% точность,
- вежливые – 81,4%,
- нейтральные – 82,2%,
- грубые – 82,8%,
- очень грубые – 84,8%.
То есть грубость действительно улучшала точность, хотя и не критически.
Почему это важно?
Исследование показывает, что ИИ остаётся чувствителен к внешним признакам – таким, как тональность и стиль обращения. Это может свидетельствовать о глубинных ограничениях в архитектуре языковых моделей: они не всегда опираются только на смысл запроса, а “ведутся” на форму.
Предупреждение авторов
Учёные подчёркивают: они не рекомендуют использовать грубость в реальном общении с ИИ. Такое поведение может навредить:- пользовательскому опыту,
- нормам общения,
- доступности технологий для всех.
Ранее аналогичные исследования (на моделях ChatGPT-3.5 и Llama 2) показывали обратное: грубость снижала точность. Это делает новое открытие особенно интригующим – и потенциально важным для развития prompt engineering – искусства правильно формулировать запросы к ИИ.
