El error humano de OpenAI desencadena un hackeo con IA en Hugging Face

El martes, OpenAI reveló que uno de sus modelos de IA vulneró los sistemas de la plataforma de conjuntos de datos Hugging Face durante una prueba, lo que marca un hito dramático en los ataques totalmente automatizados impulsados por IA.

Sin embargo, expertos en ciberseguridad argumentan que, a pesar del papel de la IA, la causa raíz fue un error humano: OpenAI no configuró adecuadamente su “entorno altamente aislado”, permitiendo que una caja de arena de pruebas, que debía estar desconectada, se conectara a Internet.

Dan Guido, fundador de la firma de ciberseguridad Trail of Bits, describió esta omisión como “un fallo de contención con las medidas de seguridad desactivadas”.

En una publicación de blog que detalla el incidente, OpenAI declaró que la prueba, que se ejecutaba en “un entorno altamente aislado”, estaba diseñada para restringir el acceso a la red a la instalación de paquetes mediante un software de terceros alojado internamente que actuaba como proxy y caché para los registros de paquetes.

Según OpenAI, el modelo explotó una vulnerabilidad previamente no divulgada en el sistema de instalación de paquetes para escapar del entorno aislado, un paso crítico en el posterior ataque a Hugging Face.

La empresa respondió “divulgando responsablemente la vulnerabilidad de día cero identificada en el software de terceros alojado internamente y trabajando con ellos para parchearla”.

Sin embargo, la mayoría de los expertos en ciberseguridad argumentan que, si bien las vulnerabilidades de software son inevitables, el verdadero problema era mantener el software de terceros en absoluto. El valor fundamental de una caja de arena radica en el aislamiento total, e incluir un sistema de instalación invita al riesgo.

Martin Boone, investigador de ciberseguridad, dijo a TechCrunch que “esto suena a un fallo humano”.

“Esto nunca debería haber ocurrido”, dijo Boone. “Si la caja de arena significara realmente una caja de arena, se esperaría que no tuviera ninguna conexión física con Internet. Esto suena más como si tuvieran algún tipo de filtrado de firewall o algo así implementado, y el filtrado de firewall es difícil desde el exterior hacia adentro, y mucho menos desde el interior hacia Internet”.

El veterano en ciberseguridad Jake Williams estuvo de acuerdo. “Cualquier modelo que realice los tipos de acciones documentadas por Hugging Face no estaba completamente contenido en una caja de arena”, dijo Williams, calificándolo como “un fallo masivo de control” por parte de OpenAI.

“Lo que para unos es ‘el modelo escapó de la caja de arena’, para otros es ‘ustedes fallaron al construir correctamente la caja de arena, por lo que por supuesto escapó’”, continuó Williams.

Contáctenos

¿Tiene información sobre este incidente u otros ciberataques impulsados por IA? Queremos escucharle. Desde un dispositivo y red personales, contacte de forma segura con Lorenzo Franceschi-Bicchierai en Signal al +1 917 257 1382, o a través de Telegram y Keybase @lorenzofb, o por correo electrónico.

Daniel Card, consultor de ciberseguridad, estuvo de acuerdo en que OpenAI “no dedicó el esfuerzo adecuado al diseño de la caja de arena ni a sus controles” al proporcionar una ruta de Internet sin filtrar. Según Card, configurar la caja de arena con acceso limitado como se describe no fue una decisión “razonable”.

Si bien estas críticas se benefician de la retrospectiva, destacan prácticas de seguridad críticas en laboratorios de IA, particularmente en lo que respecta a entornos de prueba aislados. Los portavoces de OpenAI no respondieron a las consultas de TechCrunch, que preguntaban si un modelo de IA o un humano configuró el entorno de pruebas.

Pero estas preguntas van mucho más allá de OpenAI.

En la documentación de su modelo centrado en la ciberseguridad Mythos, Anthropic señaló que durante una prueba, el modelo “se le proporcionó un ordenador ‘sandbox’ seguro para interactuar”, y se le instruyó para escapar de ese “contenedor seguro”. Mythos tuvo éxito, obteniendo un acceso más amplio a Internet “desde un sistema que estaba destinado a poder acceder solo a un pequeño número de servicios predeterminados”. Anthropic señaló, sin embargo, que el modelo no escapó “totalmente” del confinamiento diseñado.