O papel de segurança AGI do DeepMind não balança os céticos

# deepmind # agi

Na quarta-feira, o Google Deepmind lançou um elegante papel de 145 páginas mergulhando profundamente em sua abordagem à segurança da AGI. AGI, ou inteligência geral artificial, é o tipo de IA que pode enfrentar qualquer tarefa que uma lata humana possa, e é um tópico quente no mundo da IA. Algumas pessoas acham que é apenas uma fantasia, enquanto outras, como as grandes fotos em antropia, acreditam que está ao redor da curva e pode causar alguns problemas sérios se não tivermos nossas medidas de segurança sob controle. O artigo de Deepmind, escrito com a ajuda do co-fundador Shane Legg, calcula que a AGI pode aparecer até 2030 e pode levar ao que eles chamam de "danos severos". Eles não soletram exatamente isso, mas jogam frases assustadoras como "riscos existenciais" que poderiam "destruir permanentemente a humanidade". "Estamos apostando em ver uma AGI excepcional antes da saída desta década", observam os autores. "Uma AGI excepcional é um sistema que pode corresponder às habilidades dos 1% dos adultos em várias tarefas não físicas, incluindo coisas complicadas como aprender novas habilidades". Desde o início, o artigo compara a maneira do DeepMind de lidar com o risco de AGI com a forma como o Antrópico e o Openai o fazem. Ele diz que o Antrópico não é tão grande em "treinamento, monitoramento e segurança robustos", enquanto o OpenAI é "automatizar" um tipo de pesquisa de segurança de IA chamada pesquisa de alinhamento. O jornal também lança um pouco de sombra sobre a idéia de ai superinteligente - ai que é melhor em empregos do que qualquer humano. (O Openai disse recentemente que está mudando de foco da AGI para a Superintelligência.) Sem alguns novos avanços importantes, os autores da DeepMind não estão comprando que os sistemas superinteligentes estão chegando tão cedo - ou talvez nunca. Mas eles acham que é possível que nossos métodos atuais possam levar a "melhorias recursivas de IA", onde a IA faz sua própria pesquisa de IA para fazer sistemas de IA ainda mais inteligentes. E isso, eles advertem, podem ser super perigosos. No geral, o artigo sugere que precisamos desenvolver maneiras de manter os maus atores afastados da AGI, entender melhor o que os sistemas de IA estão fazendo e tornar os ambientes onde a IA opera mais segura. Eles admitem que muitas dessas idéias ainda estão em seus estágios iniciais e têm "problemas de pesquisa aberta", mas nos pedem que não ignorem os problemas de segurança que podem estar chegando em nosso caminho. "A AGI pode trazer benefícios surpreendentes ou danos graves", apontam os autores. "Então, para construir a AGI da maneira certa, é crucial para os principais desenvolvedores de IA planejarem com antecedência e enfrentar esses grandes riscos". Nem todo mundo está a bordo com as idéias do jornal, no entanto. Heidy Khlaaf, cientista -chefe da IA ​​do Instituto AI agora sem fins lucrativos, disse ao TechCrunch que acha que AGI é um conceito muito confuso para ser "rigorosamente avaliado cientificamente". Outro pesquisador de IA, Matthew Guzdial, da Universidade de Alberta, disse que não está convencido de que a melhoria recursiva da IA ​​é factível agora. "A melhoria recursiva é o que os argumentos de singularidade de inteligência se baseiam", disse Guzdial ao TechCrunch, "mas nunca vimos nenhuma evidência de que ele realmente funcione". Sandra Wachter, que estuda tecnologia e regulamentação em Oxford, aponta uma preocupação mais premente: a IA se reforçando com "saídas imprecisas". "Com o conteúdo cada vez mais gerado por IA e dados reais sendo substituídos, os modelos estão aprendendo com seus próprios resultados cheios de imprecisões ou alucinações", disse ela ao TechCrunch. "Como os chatbots são usados ​​principalmente para pesquisar e encontrar a verdade, sempre corremos o risco de serem alimentados com informações falsas apresentadas de uma maneira muito convincente". Por mais completa que seja, o artigo de DeepMind provavelmente não terminará os debates sobre a probabilidade de AGI realmente - e quais problemas de segurança da IA ​​precisam mais de atenção no momento.

Artigo relacionado

Comentários (45)