Meredith Whittaker destaca a segurança "profunda", os riscos de privacidade em AI Agentic

Na conferência SXSW em Austin, Texas, a presidente do Signal, Meredith Whittaker, levantou sérias preocupações sobre os riscos de privacidade associados à IA agente. Ela descreveu vividamente o uso de agentes de IA como "colocar seu cérebro em um frasco", destacando a natureza inquietante dessa tecnologia emergente. Whittaker apontou que os agentes de IA, promovidos como ferramentas para melhorar a vida diária gerenciando tarefas como encontrar concertos, reservar ingressos e agendar eventos, apresentam desafios significativos de privacidade e segurança.

"Então, podemos simplesmente colocar nosso cérebro em um frasco porque a coisa está fazendo isso e não precisamos tocar nisso, certo?" Whittaker refletiu, enfatizando a abordagem sem intervenção que os agentes de IA incentivam. Ela detalhou o amplo acesso que esses agentes exigiriam, incluindo controle sobre navegadores web, informações de cartão de crédito, calendários e aplicativos de mensagens. "Seria necessário que ele pudesse conduzir esse [processo] em todo o nosso sistema com algo que parece uma permissão de root, acessando cada um desses bancos de dados — provavelmente de forma não criptografada, porque não há modelo para fazer isso criptografado," ela alertou.

Whittaker também abordou a potência de processamento necessária para esses agentes de IA, observando que tais operações provavelmente ocorreriam em servidores na nuvem, em vez de no dispositivo do usuário. "Isso quase certamente está sendo enviado para um servidor na nuvem, onde é processado e enviado de volta. Portanto, há um problema profundo de segurança e privacidade que está assombrando esse entusiasmo em torno dos agentes, e que, em última análise, ameaça quebrar a barreira sangue-cérebro entre a camada de aplicativo e a camada do sistema operacional, ao unir todos esses serviços separados [e] misturar seus dados," ela concluiu.

Ela expressou particular preocupação com as implicações para a privacidade se um aplicativo de mensagens como o Signal fosse integrado a agentes de IA. Tal integração comprometeria a confidencialidade das mensagens, pois o agente precisaria acessar o aplicativo para enviar textos e também recuperar dados para resumir essas comunicações.

As observações de Whittaker vieram após ela discutir a dependência mais ampla da indústria de IA em um modelo de vigilância que envolve a coleta massiva de dados. Ela criticou o "paradigma de IA maior é melhor", que prioriza a acumulação de dados, alertando sobre suas possíveis consequências negativas. Com a IA agente, ela alertou, corremos o risco de erodir ainda mais a privacidade e a segurança em busca de um "bot gênio mágico que vai cuidar das exigências da vida."