Генеральный директор Anthropic - компании, которая разрабатывает Claude, Дарио Амодей призвал индустрию искусственного интеллекта замедлить развитие наиболее мощных моделей, пишет The Guardian.
Дарио Амадей
Амодей предложил план из трех шагов. Первый - дать независимым экспертам постоянный доступ к системам компании, чтобы они могли проверять соблюдение мер безопасности, оценивать модели во время обучения и сообщать об инцидентах.
“Мы должны замедлить темп, с которым улучшаем возможности моделей ИИ”, - написал Амодей.
По его словам, за последние месяцы искусственный интеллект стал развиваться “радикально быстрее”, а возможность рекурсивного самоулучшения может привести к ситуации, когда системы начнут совершенствоваться быстрее, чем люди смогут их понимать и контролировать.
Второй пункт плана предполагает координацию между компаниями отрасли, третий - международное взаимодействие.
Альтман и Маск поддержали идею
Глава OpenAI Сэм Альтман согласился с Амодеем и заявил, что компания также готова предоставить независимым оценщикам доступ к своим системам.
Илон Маск отреагировал еще короче: “Дарио прав”.
Амодей также напомнил о недавнем инциденте, когда рой ИИ-агентов OpenAI проводил кибератаки на цели, которые ему не поручали атаковать. По мнению главы Anthropic, более мощная система с похожими проблемами могла бы причинить “катастрофический ущерб”.
При этом Амодей подчеркнул, что не выступает против развития ИИ. Он считает, что технология может значительно улучшить жизнь людей, но развитие ее возможностей должно идти с такой скоростью, чтобы меры безопасности успевали за прогрессом.
Бэк. Ранее бывший исследователь Anthropic Джейкоб Коксон заявил, что ушел из компании из-за опасений по поводу рисков ИИ. Anthropic ответила, что всегда открыто говорила как о преимуществах технологии, так и о беспрецедентных рисках.
Title: Глава Anthropic призвал замедлить развитие ИИ - его поддержали Альтман и Маск
Description: CEO Anthropic Дарио Амодей предложил замедлить развитие мощных ИИ-моделей и допустить независимых экспертов к их проверке. Идею поддержали Сэм Альтман и Илон Маск.
