Ex-Openai Policy Lead Company для изменения повествования о безопасности ИИ

# openai # policy

Бывший исследователь политики Openai, Майлз Брандадж, недавно отправился в социальные сети, чтобы вызвать Openai за то, что он считает попыткой «переписать историю» своего подхода к развертыванию потенциально рискованных систем ИИ. На этой неделе Openai опубликовал документ, в котором подробно описывается его текущая позиция по безопасности и выравниванию ИИ, процесс обеспечения обеспечения действия систем искусственного интеллекта действует предсказуемым и полезным способом. В нем OpenAI описал разработку AGI или систем ИИ, способных выполнять любую задачу, которую человек может выполнить, как «непрерывный путь», который включает в себя «итеративное развертывание и обучение» из технологий ИИ. «В прерывистых уроках [...] []] поступают из-за обращения с сегодняшними систем с огромной осторожностью по сравнению с их очевидной силой, [который]-это подход, который мы использовали для [нашей модели ИИ] GPT-2»,-заявил Openai в документе. «Теперь мы рассматриваем первый AGI как только один пункт вдоль ряда систем растущей полезности [...] в непрерывном мире, способ сделать следующую систему безопасной и полезной, чтобы учиться у текущей системы». Тем не менее, Брандадж утверждает, что осторожный подход, взятый с GPT-2, полностью соответствовал текущей стратегии итеративного развертывания Openai. «Выпуск GPT-2 Openai, в котором я участвовал, был на 100% последовательным [с и] предвещающей текущей философией итерационного развертывания Openai»,-опубликовал Брундаж на X. «Модель была выпущена постепенно, с уроками, разделившимися на каждом шаге. Многие эксперты по безопасности поблагодарили нас за такую ​​осторожность». Брандадж, который присоединился к Openai в качестве научного сотрудника в 2018 году, а затем стал руководителем политических исследований компании, сосредоточившись на ответственном развертывании систем генерации языка, таких как CHATGPT, в то время как в команде Openai "Agi Rekeysiness". GPT-2, объявленный Openai в 2019 году, был предшественником систем ИИ, стоящих за CHATGPT. Это могло бы ответить на вопросы, суммировать статьи и генерировать текст, который иногда был неотличим от человеческого письма. Хотя GPT-2 может показаться основным сейчас, в то время это было новаторским. Из -за опасений по поводу потенциального неправильного использования, OpenAI первоначально удержал исходный код модели, вместо этого позволив Select Newlets ограничить доступ к демонстрации. Решение получило смешанную обратную связь от сообщества ИИ. Некоторые утверждали, что риски, связанные с GPT-2, были завышены, и не было никаких доказательств, подтверждающих озабоченность OpenAI по поводу неправильного использования. Публикация, ориентированная на AI, градиент даже опубликовал открытое письмо, призывающее Openai выпустить модель, сославшись на ее технологическое значение. Openai в конечном итоге выпустила частичную версию GPT-2 через шесть месяцев после объявления, после чего через несколько месяцев появилась полная система. Брандадж считает, что это был правильный подход. «Какая часть [выпуска GPT-2] была мотивирована или предполагала, что я считаю, что это прерывистое?»,-заявил он о X. «Каковы доказательства, что это предупреждение было« непропорциональным ». Брандадж обеспокоен тем, что документ Openai стремится установить высокое бремя доказывания, где опасения отклоняются как панихистские, если нет огромных доказательств неизбежных опасностей. Он находит это мышление «очень опасным» для продвинутых систем ИИ. «Если бы я все еще работал в Openai, я бы спросил, почему этот [документ] был написан так, как он, и что именно надеется Openai, надеясь достичь, осторожно осторожно осторожность»,-добавил Брундаж. В прошлом OpenAI сталкивался с критикой за то, что они приоритет «блестящим продуктам» из -за безопасности и спешных выпусков для опережающих конкурентов. В прошлом году компания распустила свою команду по готовности AGI, и несколько исследователей по безопасности и политике ИИ уехали для конкурирующих фирм. Конкурентный ландшафт усилился, благодаря китайской модели AI Lab Deepseek R1, которая открыто доступна и соответствует модели Openai O1 «Рассуждения» на ключевых критериях, привлекая внимание глобального внимания. Генеральный директор Openai Сэм Альтман признал, что DeepSeek сузил технологический лидер Openai, побудив Openai рассмотреть вопрос о ускорении графика выпуска. Поскольку Openai, как сообщается, теряет миллиарды ежегодно, а к 2026 году прогнозируют убытки до 14 миллиардов долларов, более быстрый цикл выпуска продукта может увеличить краткосрочную прибыль, но потенциально поставить под угрозу долгосрочную безопасность. Такие эксперты, как Brundage, задают вопрос, стоит ли этот компромисс.

Связанная статья

Комментарии (40)