Документ DeepMind Safety Paper не может повлиять на скептиков

В среду Google DeepMind опубликовал объемную статью на 145 страниц, в которой подробно рассматривается их подход к безопасности AGI. AGI, или искусственный общий интеллект, — это тип ИИ, который может выполнять любую задачу, доступную человеку, и это горячая тема в мире ИИ. Некоторые считают, что это просто фантазия, в то время как другие, например, крупные игроки из Anthropic, полагают, что AGI уже не за горами и может вызвать серьезные проблемы, если не будут приняты должные меры безопасности.

Статья DeepMind, написанная при участии соучредителя Шейна Легга, предполагает, что AGI может появиться к 2030 году и привести к тому, что они называют "серьезным вредом". Они не уточняют деталей, но употребляют пугающие выражения, такие как "экзистенциальные риски", которые могут "навсегда уничтожить человечество".

"Мы делаем ставку на то, что увидим исключительный AGI до конца этого десятилетия", — отмечают авторы. "Исключительный AGI — это система, которая может соответствовать навыкам 1% лучших взрослых в выполнении множества нефизических задач, включая сложные вещи, такие как освоение новых навыков."

С самого начала статья сравнивает подход DeepMind к управлению рисками AGI с тем, как это делают Anthropic и OpenAI. В ней говорится, что Anthropic не так сильно сосредоточен на "надежном обучении, мониторинге и безопасности", в то время как OpenAI делает акцент на "автоматизации" исследований в области безопасности ИИ, называемых исследованиями выравнивания.

Статья также скептически относится к идее сверхинтеллектуального ИИ — ИИ, который лучше людей справляется с любыми задачами. (OpenAI недавно заявила, что они переключают свое внимание с AGI на сверхинтеллект.) Без значительных новых прорывов авторы DeepMind не верят, что сверхинтеллектуальные системы появятся в ближайшее время — или вообще когда-либо.

Но они считают возможным, что текущие методы могут привести к "рекурсивному улучшению ИИ", когда ИИ сам проводит исследования в области ИИ, чтобы создавать еще более умные системы. И это, предупреждают они, может быть чрезвычайно опасно.

В целом статья предлагает разработать способы предотвращения доступа злоумышленников к AGI, лучше понимать, что делают системы ИИ, и сделать среды, в которых работает ИИ, более безопасными. Они признают, что многие из этих идей находятся на ранних стадиях и имеют "открытые исследовательские проблемы", но призывают не игнорировать вопросы безопасности, которые могут возникнуть.

"AGI может принести невероятные выгоды или серьезный вред", — подчеркивают авторы. "Поэтому, чтобы создать AGI правильно, ведущим разработчикам ИИ крайне важно планировать наперед и решать эти большие риски."

Однако не все согласны с идеями статьи.

Хейди Хлааф, главный научный сотрудник по ИИ в некоммерческом Институте AI Now, сообщила TechCrunch, что считает концепцию AGI слишком размытой, чтобы ее можно было "строго научно оценить". Другой исследователь ИИ, Мэтью Гуздиал из Университета Альберты, сказал, что он не убежден в возможности рекурсивного улучшения ИИ на данный момент.

"Рекурсивное улучшение — это основа аргументов о сингулярности интеллекта", — сказал Гуздиал TechCrunch, — "но мы никогда не видели никаких доказательств того, что это действительно работает."

Сандра Вахтер, изучающая технологии и регулирование в Оксфорде, указывает на более насущную проблему: ИИ, усиливающий себя с помощью "неточных выходных данных".

"С увеличением количества контента, созданного ИИ, в интернете и заменой реальных данных, модели учатся на своих собственных выходных данных, полных неточностей или галлюцинаций", — сообщила она TechCrunch. "Поскольку чат-боты в основном используются для поиска и выяснения правды, мы всегда рискуем получить ложную информацию, представленную очень убедительно."

Как бы ни была обстоятельной, статья DeepMind, вероятно, не положит конец спорам о том, насколько реален AGI — и какие вопросы безопасности ИИ требуют наибольшего внимания прямо сейчас.