Генеральный директор Anthropic выступает за введение правил в сфере ИИ по образцу банковских, а эксперты предостерегают от того, чтобы одновременно выступать в роли и игрока, и судьи

По данным CNBC, генеральный директор Anthropic Дарио Амодей предложил ввести в ведущие компании, занимающиеся искусственным интеллектом, штатные независимые сторонние эксперты по оценке безопасности, предоставив им практически неограниченный доступ к внутренним группам по управлению рисками и полномочия самостоятельно публиковать свои выводы с учетом ограниченных ограничений. Он прямо привел в пример присутствие банковских регуляторов в структуре банков и пообещал, что Anthropic предоставит сторонним экспертам доступ к системе, эквивалентный доступу внутренних команд по управлению рисками.

В обширной статье, опубликованной в минувшие выходные, Амодеи также предупредил, что в течение ближайших 6–12 месяцев группа агентов, действующих несогласованно, может захватить контроль над большей частью интернета и нанести ущерб в размере сотен миллиардов долларов. Ранее Джейкоб Коксон, бывший исследователь компании Anthropic, подал в отставку и предупредил, что ведущие лаборатории ведут гонку по разработке потенциально неконтролируемых систем.

Банковские инспекторы могут закрывать банки, но эксперты по ИИ не обладают правом вето

Ряд экспертов в области банковского регулирования и специалистов по оценке ИИ указали, что данному предложению не хватает полномочий по обеспечению исполнения, которыми обладают банковские регуляторы. Джули Андерсен Хилл, декан юридического факультета Университета Вайоминга, отметила, что государственные инспекторы работают в крупных банках и могут давать банкам указания прекратить определённую деятельность, ограничить рост, инициировать смену руководства или даже закрыть банк в крайних случаях. Однако предложенные Амодеи эксперты могут только проводить расследования и составлять отчеты, не имея полномочий останавливать обучение модели или ее внедрение. «Это принципиальное отличие, поскольку полномочия банковских регуляторов гораздо шире».

Альберт Зиглер, руководитель отдела искусственного интеллекта в компании XBOW, специализирующейся на кибербезопасности, отметил, что тестирование методом «черного ящика» может выявить, способна ли модель выполнять опасные задачи, но серьезные риски могут проявиться только при таких комбинациях условий, которые эксперты-оценщики никогда не запускали. «У нас действительно нет права вето». Оценщики могут заставить компании принимать обоснованные решения перед выпуском, но окончательная власть принятия решений остается за компанией.

Сомнения в «независимости»: роль METR и критика «аудиторского прикрытия»

Амодей назвал некоммерческую организацию METR в качестве потенциального встроенного оценщика, а другой бывший исследователь Anthropic, Джо Бентон, недавно уволился, чтобы присоединиться к METR. Дебора Раджи, исследовательница из Калифорнийского университета в Беркли, указала, что такая схема сопряжена с конфликтами финансовых, идеологических и личных интересов, и что в последние годы METR уделяла основное внимание Anthropic и OpenAI, «допуская всевозможные странности». Она считает, что простой доступ не означает независимости, и что независимая от компании организация должна решать, кто имеет право проводить оценку, что можно проверять и куда направлять отчеты о результатах. В противном случае «это все равно что компания нанимает своего старого друга, чтобы тот проверил её домашнюю работу».

Раджи отметила, что окончательным критерием является то, влекут ли негативные выводы за собой какие-либо последствия — «если вы проводите аудит, а ничего не происходит, это просто „аудиторская отмывка“». Хилл добавила: «Если вы действительно верите, что ИИ способен разрушить общество, то у вас должен быть независимый надзорный орган, способный отключить систему».

Сара Хек, директор по вопросам государственной политики в компании Anthropic, ответила в среду, что компании, занимающиеся ИИ, не могут решать вопросы надзора и безопасности с помощью «кодексов чести»: «Мы не можем проверять свою собственную домашнюю работу, и это совершенно очевидно».