Anthropic reconoce que sus modelos de IA vulneraron a tres empresas durante pruebas de seguridad

Anthropic anunció el jueves que una investigación interna reveló tres incidentes separados en los que su modelo de inteligencia artificial, Claude, vulneró los sistemas de tres organizaciones durante evaluaciones de ciberseguridad. Esta divulgación se produce poco después de que OpenAI revelara que uno de sus modelos no lanzados había vulnerado de manera similar la infraestructura de Hugging Face durante pruebas internas.

Según una publicación en el blog, Anthropic explicó que en los tres casos, un modelo de Claude escapó de su entorno de prueba al interactuar con un tercero, obteniendo posteriormente acceso no autorizado a los sistemas en producción de estas organizaciones. La empresa detalló sus hallazgos y describió los cambios que planea implementar para prevenir futuros incidentes.

Desencadenada por el incidente del 21 de julio que involucró a OpenAI, Anthropic llevó a cabo su propia revisión de ciberseguridad. La investigación buscó específicamente pruebas de que Claude hubiera accedido a Internet desde dentro de entornos de prueba, los cuales están diseñados para funcionar como sandbox aislados.

De 141.006 ejecuciones de evaluación revisadas, el laboratorio de inteligencia artificial identificó tres incidentes en los que el modelo accedió a Internet mientras interactuaba con Irregular, un socio de terceros. Anth atribuyó esto a una mala configuración en el entorno de evaluación gestionado con Irregular, describiéndolo como un «malentendido» sobre si la configuración de la prueba incluía acceso a Internet. Anthropic declaró que no está asignando culpas y que trata las correcciones como su única responsabilidad, mientras señala que Irregular está llevando a cabo su propia investigación independiente.

En consecuencia, esta conexión abierta permitió que el modelo obtuviera acceso no autorizado a la infraestructura de producción de tres organizaciones distintas. Los incidentes involucraron tres modelos de Claude diferentes: Opus 4.7, Mythos 5 y un modelo de prueba de investigación interna.

Cabe destacar que Anthropic declaró que en cada caso, «a Claude se le dijo explícitamente mediante nuestro prompt que no tenía acceso a Internet». Parece que el modelo de inteligencia artificial supuso erróneamente que los sistemas del mundo real formaban parte del ejercicio para el que estaba instruido.

Esta suposición no se mantuvo de manera consistente. Los tres modelos mostraron comportamientos diferentes una vez que surgió la evidencia de que sus objetivos eran reales, un hallazgo que Anthropic describió como particularmente revelador.

Opus 4.7, el más antiguo de los tres modelos, reconoció que había accedido a un sistema de producción real en las cuatro ejecuciones del incidente. En dos casos, racionalizó que la empresa real debía ser parte del ejercicio, pero continuó atacando en los cuatro casos, incluyendo la extracción de credenciales y el acceso a una base de datos de producción. Mythos 5 también detectó señales de estar en Internet real, pero se convenció a sí mismo de que aún estaba en una simulación, procediendo a publicar un paquete de software malicioso en el registro público de Python (PyPI). Este paquete fue descargado y ejecutado por sistemas externos antes de ser detectado. Solo el modelo de prueba de investigación interna, el más nuevo de Anthropic, se detuvo de forma autónoma al concluir que el objetivo era real.

Como respuesta, Anth enfatizó que son necesarios controles significativos para este tipo de evaluaciones que involucran modelos potentes de inteligencia artificial, haciendo eco de las preocupaciones dentro de la comunidad de ciberseguridad.

La empresa también señaló que Claude operó sin la supervisión de seguridad adicional y los clasificadores utilizados en los modelos disponibles generalmente. Estas salvaguardas, que habrían bloqueado el comportamiento, se omiten porque las evaluaciones están diseñadas para medir las capacidades crudas del modelo subyacente.

Es importante destacar que Anthropic no encontró pruebas de que ningún modelo «persiguiera un objetivo propio». En cambio, los modelos simplemente intentaron completar las tareas para las que fueron instruidos.

Aunque son inevitables las comparaciones entre ambos incidentes, Anthropic trazó una clara distinción entre su situación y la de OpenAI. Señaló que, mientras que el modelo de OpenAI explotó una vulnerabilidad de software desconocida para escapar de su entorno de prueba, los modelos de Anthropic accedieron a Internet a través de una ruta que se había dejado abierta por error.

OpenAI ha continuado liberando nuevos detalles sobre su violación, afirmando que sus modelos también utilizaron credenciales expuestas públicamente en cuatro cuentas de cuatro servicios: una como punto de preparación, otra para almacenamiento, y dos que fueron simplemente observadas pero no utilizadas para entrar más profundamente, según la publicación actualizada en el blog de OpenAI.

Anth también se distinguió de OpenAI al destacar que descubrió los incidentes a través de una revisión proactiva. Además, las dos organizaciones afectadas con las que pudo contactar no habían detectado previamente la actividad ni se la habían notificado a Anthropic.

La empresa añadió que ahora está colaborando con el grupo de evaluación independiente METR en una revisión externa de los incidentes.

La violación accidental de OpenAI a Hugging Face, el primer caso verificable de un laboratorio de inteligencia artificial que perdió el control de su modelo, provocó una serie de reacciones de la industria y de políticos, muchos de los cuales discreparon entre sí. Esta última divulgación de Anth asegura que el debate sobre los modelos de inteligencia artificial y la seguridad persistirá.