Тексты нейросетей уже научились узнавать по характерным привычкам: одинаковым оборотам, чрезмерно правильной структуре, повторам и любимым словам. Теперь у текста Claude появится еще один признак, но увидеть его глазами не получится.
Anthropic сообщила, что изменит механизм генерации текстов в Claude, чтобы встроить в них специальный “водяной знак”. Он должен помочь определять, был ли текст создан искусственным интеллектом.
Изменения связаны с требованиями Евросоюза: с декабря компании, работающие на рынке ЕС, должны будут маркировать сгенерированный ИИ контент.
Anthropic утверждает, что для обычного читателя ничего не изменится. Но вокруг технологии уже возник спор: если алгоритм будет специально подталкивать модель к одним словам вместо других, не станет ли Claude писать хуже?
“Водяной знак” не будет виден в самом тексте
Речь не идет о подписи “создано искусственным интеллектом” или специальном символе в конце сообщения.
Большие языковые модели выбирают следующее слово из нескольких вероятных вариантов. Например, модель может решить, назвать пасмурный день “серым” или “облачным”, а небольшой поток воды - “ручьем” или подобрать другой близкий вариант.
В этом выборе уже присутствует случайность.
Anthropic собирается слегка изменить именно ее. Определенные варианты слов будут появляться в тексте с заданной статистической закономерностью. Для читателя текст останется обычным, но компания и обладатели специального ключа смогут обнаружить скрытый паттерн.
То есть водяной знак будет существовать не на уровне букв или форматирования, а внутри статистики выбора слов.
Может ли Claude из-за этого писать хуже
Именно этот вопрос вызвал больше всего споров.
Технологический блогер Джон Грубер считает, что водяной знак фактически ограничивает модель в выборе следующего слова. Если алгоритму придется учитывать необходимость сохранить специальный паттерн, Claude теоретически может выбрать не самое точное слово из возможных.
Грубер назвал такой подход вмешательством в сам процесс письма.
Но профессор компьютерных наук Университетского колледжа Лондона Стивен Мердок ожидает, что заметной разницы пользователи не увидят.
“Скорее всего, это не окажет никакого заметного влияния”, - считает он.
Причина в том, что языковые модели и сейчас не выбирают каждое слово как единственно лучшее. В процесс генерации специально добавлена случайность.
По словам Мердока, без нее модели могли бы зацикливаться и повторять одни и те же конструкции.
После введения маркировки случайность останется. Разница лишь в том, что она станет статистически предсказуемой для системы, умеющей распознавать водяной знак.
Почему случайность иногда приводит к странным ошибкам
Выбор близких по вероятности слов не означает, что модель понимает их так же, как человек.
В качестве примера в материале приводится случай с научной статьей по химии, которую пришлось отозвать. Авторы, предположительно, использовали ИИ при подготовке текста.
В статье неожиданно появилась фраза “массовое убийство этнической группы” как замена выражению “окончательное решение”, хотя соответствующий абзац, судя по контексту, был посвящен цинковому наногелю.
Этот эпизод показывает проблему статистической генерации: формально слова могут оказаться связанными в языковой модели, но в конкретном контексте результат выглядит абсурдно.
Поэтому спор о водяных знаках сводится не только к тому, испортят ли они стиль. Более широкий вопрос - насколько вообще можно считать выбор каждого отдельного слова в тексте ИИ осмысленным.
Зачем ЕС понадобилась маркировка ИИ-текстов
Одно из очевидных применений водяного знака - возможность отличить человеческий текст от созданного чат-ботом.
Это может осложнить ситуацию для студентов, исследователей, юристов и других пользователей, которые пытаются представить полностью сгенерированный текст как собственную работу.
Но есть и другая причина.
Чем больше текстов создают нейросети, тем выше вероятность, что они попадут в данные, на которых будут обучаться следующие поколения моделей.
Мердок обращает внимание на так называемый model collapse - деградацию моделей при обучении на большом количестве контента, который ранее уже был произведен другими ИИ.
Если разработчики смогут надежно находить машинные тексты, их станет проще отделять от человеческих данных при формировании обучающих наборов.
Сможет ли водяной знак решить проблему ИИ-контента
У Anthropic пока более осторожная формулировка: компания обещает, что маркировка будет незаметна для среднего читателя.
При этом обнаружить ее сможет сама Anthropic или тот, у кого есть необходимый ключ.
Это значит, что речь пока не идет об универсальном способе, благодаря которому любой преподаватель или редактор сможет вставить текст в сервис и со стопроцентной точностью установить его происхождение.
Но сама идея меняет подход к ИИ-текстам. Раньше их пытались распознавать по стилю: характерным словам, структуре предложений и повторяющимся конструкциям. Водяной знак должен работать независимо от того, насколько “по-человечески” пишет модель.
Останется ли качество Claude прежним, станет понятно после внедрения технологии. Anthropic уверяет, что изменения происходят на настолько низком уровне генерации, что читатели их не заметят. Скептики опасаются, что даже небольшое ограничение выбора неизбежно скажется на точности формулировок.
