Meredith Whittaker destaca la seguridad 'profunda', los riesgos de privacidad en la IA de la agente

En la conferencia SXSW en Austin, Texas, la presidenta de Signal, Meredith Whittaker, expresó serias preocupaciones sobre los riesgos de privacidad asociados con la IA agéntica. Describió vívidamente el uso de agentes de IA como "poner tu cerebro en un frasco", destacando la naturaleza inquietante de esta tecnología emergente. Whittaker señaló que los agentes de IA, promovidos como herramientas para mejorar la vida diaria al gestionar tareas como encontrar conciertos, reservar entradas y programar eventos, plantean importantes desafíos de privacidad y seguridad.

"Entonces, ¿podemos simplemente poner nuestro cerebro en un frasco porque la cosa lo hace y no tenemos que tocarlo, verdad?" reflexionó Whittaker, enfatizando el enfoque sin intervención que promueven los agentes de IA. Continuó detallando el amplio acceso que estos agentes requerirían, incluyendo el control sobre navegadores web, información de tarjetas de crédito, calendarios y aplicaciones de mensajería. "Tendría que ser capaz de dirigir ese [proceso] a través de todo nuestro sistema con algo que parece un permiso de root, accediendo a cada una de esas bases de datos, probablemente sin cifrado, porque no hay un modelo para hacerlo cifrado", advirtió.

Whittaker también abordó la potencia de procesamiento necesaria para estos agentes de IA, señalando que dichas operaciones probablemente ocurrirían en servidores en la nube en lugar de en el dispositivo del usuario. "Eso casi seguro que se envía a un servidor en la nube donde se procesa y se devuelve. Así que hay un problema profundo de seguridad y privacidad que está acechando este entusiasmo por los agentes, y que en última instancia amenaza con romper la barrera hematoencefálica entre la capa de la aplicación y la capa del sistema operativo al unir todos estos servicios separados [y] mezclar sus datos", concluyó.

Expresó especial preocupación por las implicaciones para la privacidad si una aplicación de mensajería como Signal se integrara con agentes de IA. Dicha integración comprometería la confidencialidad de los mensajes, ya que el agente necesitaría acceder a la aplicación para enviar textos y también recuperar datos para resumir esas comunicaciones.

Los comentarios de Whittaker se produjeron después de que discutiera la dependencia más amplia de la industria de la IA en un modelo de vigilancia que implica la recolección masiva de datos. Criticó el "paradigma de IA más grande es mejor", que prioriza la acumulación de datos, advirtiendo sobre sus posibles consecuencias negativas. Con la IA agéntica, advirtió, corremos el riesgo de erosionar aún más la privacidad y la seguridad en la búsqueda de un "bot de genio mágico que se encargará de las exigencias de la vida".