Meredith Whittaker destaca la seguridad 'profunda', los riesgos de privacidad en la IA de la agente

En la Conferencia SXSW en Austin, Texas, el presidente de Signal, Meredith Whittaker, planteó serias preocupaciones sobre los riesgos de privacidad asociados con la IA agente. Ella describió vívidamente el uso de agentes de IA como "poner su cerebro en un frasco", destacando la naturaleza inquietante de esta tecnología emergente. Whittaker señaló que los agentes de IA, que son promovidos como herramientas para mejorar la vida diaria mediante la gestión de tareas como encontrar conciertos, reservar boletos y programas de eventos, plantean importantes desafíos de privacidad y seguridad.

"Entonces podemos poner nuestro cerebro en un frasco porque la cosa está haciendo eso y no tenemos que tocarlo, ¿verdad?" Whittaker reflexionó, enfatizando el enfoque de no intervención que los agentes de IA fomentan. Continuó detallando el amplio acceso que requerirían estos agentes, incluido el control sobre los navegadores web, la información de la tarjeta de crédito, los calendarios y las aplicaciones de mensajería. "Tendría que poder conducir ese [proceso] en todo nuestro sistema con algo que parece un permiso de raíz, accediendo a cada una de esas bases de datos, probablemente en claro, porque no hay un modelo para hacer eso encriptado", advirtió.

Whittaker también abordó la potencia de procesamiento necesaria para estos agentes de IA, señalando que tales operaciones probablemente ocurrirían en los servidores de la nube en lugar de en el dispositivo del usuario. "Es casi seguro que eso se envía a un servidor en la nube donde se está procesando y enviando de regreso. Por lo tanto, existe un profundo problema con la seguridad y la privacidad que inquietan esta exageración de los agentes, y que finalmente amenaza con romper la barrera hematoencefálica entre la capa de aplicación y la capa del sistema operativo al unir todos estos servicios separados [y] confundir sus datos", concluyó. Concluyó.

Expresó una preocupación particular por las implicaciones de privacidad si una aplicación de mensajería como la señal se integrara con los agentes de IA. Dicha integración comprometería la confidencialidad de los mensajes, ya que el agente necesitaría acceder a la aplicación para enviar textos y también recuperar datos para resumir esas comunicaciones.

Los comentarios de Whittaker se produjeron después de que ella discutió la dependencia de la industria de la IA más amplia en un modelo de vigilancia que involucra la recopilación de datos masivos. Ella criticó el "más grande es mejor paradigma de IA", que prioriza la acumulación de datos, advirtiendo de sus posibles consecuencias negativas. Con Agentic AI, advirtió, corremos el riesgo de erosionar aún más la privacidad y la seguridad en la búsqueda de un "bot genio mágico que se encargará de las exigencias de la vida".