Meredith Whittaker met en évidence la sécurité «profonde», les risques de confidentialité dans l'agentique AI

Lors de la conférence SXSW à Austin, Texas, la présidente de Signal, Meredith Whittaker, a exprimé de sérieuses préoccupations concernant les risques pour la vie privée liés à l'IA agentique. Elle a décrit de manière frappante l'utilisation des agents IA comme "mettre son cerveau dans un bocal", soulignant la nature troublante de cette technologie émergente. Whittaker a souligné que les agents IA, promus comme des outils pour améliorer la vie quotidienne en gérant des tâches telles que trouver des concerts, réserver des billets et programmer des événements, posent d'importants défis en matière de confidentialité et de sécurité.

"Donc, on peut simplement mettre notre cerveau dans un bocal parce que la chose fait tout ça et nous n'avons pas à y toucher, n'est-ce pas ?" a-t-elle ironisé, mettant en évidence l'approche sans intervention que les agents IA encouragent. Elle a ensuite détaillé l'accès extensif que ces agents nécessiteraient, y compris le contrôle des navigateurs web, des informations de carte de crédit, des calendriers et des applications de messagerie. "Il faudrait qu'il puisse piloter ce [processus] à travers tout notre système avec quelque chose qui ressemble à une permission root, accédant à chacune de ces bases de données — probablement en clair, car il n'existe aucun modèle pour le faire de manière cryptée," a-t-elle averti.

Whittaker a également abordé la puissance de traitement nécessaire pour ces agents IA, notant que ces opérations se dérouleraient probablement sur des serveurs cloud plutôt que sur l'appareil de l'utilisateur. "Cela est presque certainement envoyé à un serveur cloud où c'est traité et renvoyé. Il y a donc un problème profond de sécurité et de confidentialité qui hante cet engouement pour les agents, et qui menace ultimement de briser la barrière hémato-encéphalique entre la couche applicative et la couche du système d'exploitation en reliant tous ces services séparés [et] en mélangeant leurs données," a-t-elle conclu.

Elle a exprimé une préoccupation particulière concernant les implications pour la vie privée si une application de messagerie comme Signal devait s'intégrer avec des agents IA. Une telle intégration compromettrait la confidentialité des messages, car l'agent devrait accéder à l'application pour envoyer des textes et également récupérer des données pour résumer ces communications.

Les remarques de Whittaker sont intervenues après qu'elle a discuté de la dépendance plus large de l'industrie de l'IA à un modèle de surveillance impliquant une collecte massive de données. Elle a critiqué le "paradigme de l'IA plus grand est meilleur", qui privilégie l'accumulation de données, avertissant de ses potentielles conséquences négatives. Avec l'IA agentique, a-t-elle averti, nous risquons d'éroder davantage la vie privée et la sécurité dans la quête d'un "génie magique qui va s'occuper des exigences de la vie."