O grupo de Fei-FEI Li pede legislação de segurança de IA preventiva

Um novo relatório de um grupo de políticas da Califórnia, co-liderado pela pioneira em IA Fei-Fei Li, sugere que os legisladores devem considerar os riscos da IA que ainda não foram observados no mundo real ao criar políticas regulatórias para IA. Este relatório interino de 41 páginas, divulgado na terça-feira, vem do Grupo de Trabalho Conjunto de Políticas da Califórnia sobre Modelos de Fronteira de IA, estabelecido pelo governador Gavin Newsom após ele vetar o controverso projeto de lei de segurança de IA da Califórnia, SB 1047. Newsom sentiu que o SB 1047 não atingiu exatamente o alvo, mas reconheceu a necessidade de uma análise mais profunda dos riscos da IA para orientar os legisladores.

No relatório, Li, junto com os coautores Jennifer Chayes, decana da Faculdade de Computação da UC Berkeley, e Mariano-Florentino Cuéllar, presidente da Carnegie Endowment for International Peace, defendem leis que tornem mais claro o que os laboratórios de IA de fronteira, como a OpenAI, estão fazendo. Antes de o relatório ser tornado público, ele foi revisado por pessoas da indústria de diversas áreas, incluindo fortes apoiadores da segurança de IA, como o vencedor do Prêmio Turing, Yoshua Bengio, e aqueles que se opuseram ao SB 1047, como o cofundador da Databricks, Ion Stoica.

O relatório destaca que os novos riscos dos sistemas de IA podem significar que precisamos de leis que obriguem os desenvolvedores de modelos de IA a compartilhar seus testes de segurança, como obtêm seus dados e suas medidas de segurança com o público. Ele também pede melhores padrões para verificações de terceiros sobre essas questões e políticas das empresas, além de mais proteções para trabalhadores e contratados de empresas de IA que denunciam irregularidades.

Li e seus coautores mencionam que ainda não há provas suficientes sobre o potencial da IA para ajudar em ataques cibernéticos, fabricar armas biológicas ou causar outros perigos "extremos". Mas eles também dizem que a política de IA não deve apenas lidar com o que está acontecendo agora; ela também deve pensar no que pode acontecer no futuro se não houver medidas de segurança suficientes em vigor.

O relatório usa o exemplo de uma arma nuclear, dizendo: "Não precisamos ver uma arma nuclear explodir para saber que ela pode causar muitos danos." Ele continua dizendo: "Se aqueles que falam sobre os piores riscos estiverem certos — e não temos certeza se estarão — então não fazer nada sobre a IA de fronteira agora pode ser realmente custoso."

Para tornar o desenvolvimento de modelos de IA mais aberto, o relatório sugere uma abordagem de "confiar, mas verificar". Ele diz que os desenvolvedores de modelos de IA e seus trabalhadores devem ter maneiras de relatar coisas que importam para o público, como testes de segurança internos, e também devem ter suas alegações de testes verificadas por terceiros.

Embora o relatório, que será finalizado em junho de 2025, não apoie nenhuma lei específica, ele foi bem recebido por especialistas de ambos os lados do debate sobre políticas de IA.

Dean Ball, um pesquisador focado em IA na George Mason University que não gostou do SB 1047, disse no X que o relatório é um bom passo para as regras de segurança de IA da Califórnia. Também é uma vitória para os defensores da segurança de IA, segundo o senador estadual da Califórnia, Scott Wiener, que apresentou o SB 1047 no último ano. Wiener disse em um comunicado à imprensa que o relatório contribui para as "conversas urgentes sobre governança de IA que começamos na legislatura em 2024."

O relatório parece concordar com partes do SB 1047 e com o próximo projeto de lei de Wiener, SB 53, como fazer com que os desenvolvedores de modelos de IA relatem os resultados de seus testes de segurança. Olhando para o quadro geral, parece uma vitória muito necessária para os defensores da segurança de IA, cujas ideias têm perdido terreno no último ano.