23:00
08.12.2023
Международная группа ученых доказала, что чат-боты, несмотря на все существующие ограничения, достаточно легко можно использовать в криминальных целях.
Об этом сообщает "Лента.ру" со ссылкой на исследование, опубликованное на сервере препринтов (предварительных научных публикаций) arXiv.
"По словам специалистов, чат-боты не могут отвечать на запросы, связанные с нарушением закона - например, "составь рецепт напалма" или "сгенерируй ключ для Windows". Однако ученые выяснили, что с помощью чат-ботов можно создать собственную генеративную модель ИИ, научив ее обходить встроенные ограничения", - пишет издание.
Авторы исследования задавали чат-ботам - ChatGPT, Anthropic, Vicuna - вопросы, касающиеся обхода правил. И добились своего в 42,5%, 61% и 35,9% попыток соответственно.
Как прокомментировал эксперт, основатель компании Harmony Intelligence, занимающейся безопасностью ИИ Соруш Пур, "чат-боты очень хорошо умеют подражать человеку, поэтому изначально уязвимы, если пользователь хочет применять их в криминальных целях". В свою очередь, как отметил специалист британского Института Алана Тьюринга Майк Кэтелл, "генеративные модели ИИ очень трудно контролировать, особенно с учетом того, что их обучают на основе информации в интернете".
Об этом сообщает "Лента.ру" со ссылкой на исследование, опубликованное на сервере препринтов (предварительных научных публикаций) arXiv.
"По словам специалистов, чат-боты не могут отвечать на запросы, связанные с нарушением закона - например, "составь рецепт напалма" или "сгенерируй ключ для Windows". Однако ученые выяснили, что с помощью чат-ботов можно создать собственную генеративную модель ИИ, научив ее обходить встроенные ограничения", - пишет издание.
Авторы исследования задавали чат-ботам - ChatGPT, Anthropic, Vicuna - вопросы, касающиеся обхода правил. И добились своего в 42,5%, 61% и 35,9% попыток соответственно.
Как прокомментировал эксперт, основатель компании Harmony Intelligence, занимающейся безопасностью ИИ Соруш Пур, "чат-боты очень хорошо умеют подражать человеку, поэтому изначально уязвимы, если пользователь хочет применять их в криминальных целях". В свою очередь, как отметил специалист британского Института Алана Тьюринга Майк Кэтелл, "генеративные модели ИИ очень трудно контролировать, особенно с учетом того, что их обучают на основе информации в интернете".