Документ DeepMind Safety Paper не может повлиять на скептиков

# deepmind # agi

В среду Google DeepMind сбросил огромную 145-страничную бумагу, погрузившись в свой подход к безопасности AGI. AGI, или искусственный общий интеллект, - это вид искусственного искусства, который может решать любую задачу, которую человек может, и это горячая тема в мире ИИ. Некоторые люди думают, что это просто фантазия, в то время как другие, такие как большие снимки в Антропике, полагают, что это прямо вокруг изгиба и может вызвать серьезные проблемы, если мы не получим наши меры безопасности под контролем. Бумага DeepMind, написанная с помощью соучредителя Шейна Легга, считает, что Agi может появиться к 2030 году и может привести к тому, что они называют «сильным вредом». Они не публикуют это точно, но они бросают в страшные фразы, такие как «экзистенциальные риски», которые могли бы «постоянно уничтожить человечество». «Мы ставим пари на то, чтобы увидеть исключительный AGI до этого десятилетия», - отмечают авторы. «Исключительная AGI-это система, которая может соответствовать навыкам лучших 1% взрослых на куче нефизических задач, в том числе сложные вещи, такие как изучение новых навыков». С самого начала газета сравнивает способ DeepMind обращаться с риском AGI с тем, как это делают антроп и Openai. В нем говорится, что антроп не так большой в «надежной подготовке, мониторинге и безопасности», в то время как Openai - это «автоматизация» тип исследований безопасности ИИ, называемых исследованием выравнивания. Бумага также бросает некоторый оттенок на идею Superintelligent AI - ИИ, который лучше на работе, чем любой человек. (Openai недавно сказал, что они смещают свое внимание с Agi к Superintelligence.) Без некоторых крупных новых прорывов, авторы DeepMind не покупают эти суперинтелтингантные системы в ближайшее время - или, может быть, когда -либо. Но они думают, что возможно, что наши текущие методы могут привести к «рекурсивному улучшению ИИ», где ИИ проводит свои собственные исследования ИИ, чтобы сделать еще более умные системы ИИ. И это, как они предупреждают, может быть очень опасным. В целом, в статье предполагается, что нам нужно разработать способы удержать плохих участников от AGI, лучше понять, чем занимаются системы ИИ, и сделать среды, где ИИ работает более безопасным. Они признают, что многие из этих идей все еще находятся на ранних стадиях и имеют «проблемы с открытыми исследованиями», но они призывают нас не игнорировать проблемы безопасности, которые могут появиться на нашем пути. «AGI может принести удивительные преимущества или серьезный вред», - отмечают авторы. «Таким образом, чтобы построить AGI правильно, для лучших разработчиков ИИ очень важно планировать заранее и справиться с этими большими рисками». Не все на борту с идеями газеты. Хайди Хлааф, главный ученый ИИ в Институте некоммерческого ИИ, сказала TechCrunch, что, по ее мнению, Agi слишком нечеткая концепция, чтобы «тщательно оцениваться научно». Другой исследователь ИИ, Мэтью Гусдиал из Университета Альберты, сказал, что он не убежден, что рекурсивное улучшение ИИ сейчас выполнимо. «Рекурсивное улучшение - это то, на чем основаны аргументы в области интеллекта, - сказал Гусдиал TechCrunch, - но мы никогда не видели никаких доказательств того, что это действительно работает». Сандра Вахтер, которая изучает технологии и регулирование в Оксфорде, указывает на более насущное беспокойство: ИИ усиливает себя «неточными выходами». «Благодаря все большему количеству контента, сгенерированного AI в Интернете, и реальными данными заменяются, модели участвуют на своих собственных результатах, которые полны неточностей или галлюцинаций»,-сказала она TechCrunch. «Поскольку чат -боты в основном используются для поиска и поиска истины, мы всегда рискуем кормить ложную информацию, которая представлена ​​очень убедительным образом». Как бы он ни был тщательным, газета DeepMind, вероятно, не прекратит дебаты о том, насколько вероятно, что на самом деле AGI - и какие проблемы безопасности ИИ требуют наибольшего внимания прямо сейчас.

Связанная статья

Комментарии (45)