Meredith Whittaker met en évidence la sécurité «profonde», les risques de confidentialité dans l'agentique AI

Lors de la conférence du SXSW à Austin, au Texas, le président de Signal Meredith Whittaker a soulevé de sérieuses préoccupations concernant les risques de confidentialité associés à l'IA agentique. Elle a considérablement décrit l'utilisation des agents de l'IA comme «mettre votre cerveau dans un pot», mettant en évidence la nature troublante de cette technologie émergente. Whittaker a souligné que les agents de l'IA, qui sont promus comme des outils pour améliorer la vie quotidienne en gérant des tâches telles que la recherche de concerts, la réservation de billets et les événements de planification, posent des défis importants de confidentialité et de sécurité.

"Nous pouvons donc simplement mettre notre cerveau dans un bocal parce que le truc est de faire ça et nous n'avons pas à le toucher, non?" Whittaker a sonné, soulignant l'approche pratique que les agents de l'IA encouragent. Elle a ensuite détaillé l'accès approfondi dont ces agents auraient besoin, notamment le contrôle des navigateurs Web, les informations de carte de crédit, les calendriers et les applications de messagerie. "Il devrait être en mesure de conduire ce [processus] sur l'ensemble de notre système avec quelque chose qui ressemble à une autorisation racine, à accéder à chacune de ces bases de données - probablement en clair, car il n'y a pas de modèle pour le faire crypté", a-t-elle averti.

Whittaker a également abordé la puissance de traitement nécessaire pour ces agents d'IA, notant que de telles opérations se produiraient probablement sur les serveurs cloud plutôt que sur l'appareil de l'utilisateur. "C'est presque certainement envoyé à un serveur cloud où il est traité et renvoyé. Il y a donc un problème profond avec la sécurité et la confidentialité qui hante ce battage médiatique autour des agents, et qui menace finalement de briser la barrière hémato-encéphalique entre la couche d'application et la couche de système d'exploitation en conjoignant tous ces services séparés [et] confondant leurs données", a-t-elle conclu.

Elle a exprimé une préoccupation particulière concernant les implications pour la confidentialité si une application de messagerie comme Signal était de s'intégrer aux agents de l'IA. Une telle intégration compromettrait la confidentialité des messages, car l'agent devra accéder à l'application pour envoyer des textes et récupérer également des données pour résumer ces communications.

Les remarques de Whittaker sont survenues après avoir discuté de la dépendance de l'industrie de l'IA plus large à l'égard d'un modèle de surveillance qui implique la collecte de données de masse. Elle a critiqué le «plus grand est un meilleur paradigme de l'IA», ce qui priorise l'accumulation de données, avertissant ses conséquences négatives potentielles. Avec l'agent AI, a-t-elle averti, nous risquons davantage de la vie privée et de la sécurité à la recherche d'un "bot de génie magique qui va s'occuper des exigences de la vie".