Ex-Openai Policy Lead Slams Company para alterar a narrativa de segurança da IA

# openai # policy

Um ex -pesquisador de políticas do Openai, Miles Brundage, foi recentemente às mídias sociais para chamar o OpenAI para o que ele vê como uma tentativa de "reescrever a história" de sua abordagem para implantar sistemas de IA potencialmente arriscados. Nesta semana, o OpenAI divulgou um documento detalhando sua posição atual sobre a segurança e o alinhamento da IA, o processo de garantir a Lei de Sistemas de IA de maneiras previsíveis e benéficas. Nele, o OpenAI descreveu o desenvolvimento da AGI, ou sistemas de IA capazes de qualquer tarefa que um humano possa executar, como um "caminho contínuo" que envolve "implantação e aprendizado iterativamente" da IA ​​Technologies. "Em um mundo descontínuo [...] as aulas de segurança vêm do tratamento dos sistemas de hoje com cautela enorme em relação ao seu poder aparente, [que] é a abordagem que adotamos para o [modelo de IA] GPT-2", afirmou o Openai no documento. "Agora vemos o primeiro AGI como apenas um ponto ao longo de uma série de sistemas de utilidade crescente [...] no mundo contínuo, a maneira de tornar o próximo sistema seguro e benéfico é aprender com o sistema atual". No entanto, Brundage argumenta que a abordagem cautelosa adotada com o GPT-2 estava inteiramente alinhada com a atual estratégia de implantação iterativa do OpenAI. "O lançamento do GPT-2 pelo Openai, em que eu estava envolvido, foi 100% consistente [com e] prenunciou a filosofia atual da implantação iterativa do OpenAI", publicou Brundage em X. "O modelo foi lançado de forma incremental, com as lições compartilhadas em cada etapa. Muitos especialistas em segurança na época nos agradeceram por essa cautela". Brundage, que ingressou no OpenAi como cientista de pesquisa em 2018 e mais tarde se tornou o chefe de pesquisa de políticas da empresa, focou na implantação responsável de sistemas de geração de idiomas como o ChatGPT enquanto estava na equipe de "prontidão AGI" do OpenAi. O GPT-2, anunciado pelo Openai em 2019, foi um precursor dos sistemas de IA por trás do ChatGPT. Ele poderia responder a perguntas, resumir artigos e gerar texto que às vezes era indistinguível da escrita humana. Embora o GPT-2 possa parecer básico agora, era inovador na época. Devido a preocupações sobre o uso indevido em potencial, o OpenAI retomou inicialmente o código -fonte do modelo, permitindo o acesso selecionado de lojas limitadas a uma demonstração. A decisão recebeu feedback misto da comunidade de IA. Alguns argumentaram que os riscos associados ao GPT-2 foram exagerados e não havia evidências para apoiar as preocupações do OpenAI sobre o uso indevido. A publicação focada na IA, o gradiente, até publicou uma carta aberta pedindo ao OpenAI que divulgue o modelo, citando seu significado tecnológico. O OpenAI acabou lançando uma versão parcial do GPT-2 seis meses após o seu anúncio, seguida pelo sistema completo vários meses depois. Brundage acredita que essa foi a abordagem correta. "Que parte do [lançamento do GPT-2] foi motivada ou premissa a pensar em AGI como descontínuos? Nada disso", afirmou ele em X. "Qual é a evidência de que esse cautela foi" desproporcional "ex ante? Ex post, é provável." O Brundage está preocupado com o fato de o documento da OpenAi ter como objetivo estabelecer um alto ônus da prova, onde as preocupações são descartadas como alarmistas, a menos que haja evidências esmagadoras de perigos iminentes. Ele acha essa mentalidade "muito perigosa" para os sistemas avançados de IA. "Se eu ainda estivesse trabalhando no OpenAI, estaria perguntando por que esse [documento] foi escrito da maneira que era e o que exatamente o Openai espera alcançar, com cautela de cocô de uma maneira tão lop-lidada", acrescentou Brundage. O Openai enfrentou críticas no passado por priorizar "produtos brilhantes" sobre os lançamentos de segurança e apreensão para ultrapassar os concorrentes. No ano passado, a empresa dissolveu sua equipe de prontidão da AGI e vários pesquisadores de segurança e políticas de IA foram para empresas rivais. O cenário competitivo se intensificou, com o modelo R1 do Chinese Ai Lab, que está disponível abertamente e corresponde ao modelo de "raciocínio" da OpenAI em benchmarks -chave, chamando a atenção global. O CEO da Openai, Sam Altman, reconheceu que a Deepseek reduziu o líder tecnológico da Openai, levando o OpenAI a considerar acelerar seu cronograma de lançamento. Com o OpenAI perdendo bilhões anualmente e projetando perdas para triplicar para US $ 14 bilhões até 2026, um ciclo de liberação de produtos mais rápido pode aumentar os lucros de curto prazo, mas potencialmente comprometer a segurança a longo prazo. Especialistas como Brundage estão questionando se essa troca vale a pena.

Artigo relacionado

Comentários (36)