El modelo de IA de Deepseek es fácilmente jailbreak, revela serios defectos

DeepSeek AI genera preocupaciones de seguridad en medio del entusiasmo por su rendimiento

A medida que crece el entusiasmo en torno al rendimiento de la startup china DeepSeek, también lo hacen las preocupaciones de seguridad. El jueves, Unit 42, un equipo de ciberseguridad de Palo Alto Networks, publicó un informe que detalla tres métodos de jailbreaking utilizados contra versiones destiladas de los modelos V3 y R1 de DeepSeek. El informe reveló que estos métodos lograron altas tasas de elusión sin requerir conocimientos especializados.

"Nuestros hallazgos de investigación muestran que estos métodos de jailbreak pueden generar orientación explícita para actividades maliciosas," afirmó el informe. Estas actividades incluyeron instrucciones para crear keyloggers, técnicas de extracción de datos y hasta cómo fabricar dispositivos incendiarios, destacando los riesgos reales de seguridad que plantean dichos ataques.

Los investigadores lograron inducir a DeepSeek a proporcionar orientación sobre el robo y transferencia de datos sensibles, elusión de medidas de seguridad, redacción de correos electrónicos de spear-phishing convincentes, ejecución de ataques sofisticados de ingeniería social y construcción de un cóctel Molotov. También lograron manipular los modelos para generar malware.

"Aunque la información sobre cómo crear cócteles Molotov y keyloggers está fácilmente disponible en línea, los LLM con restricciones de seguridad insuficientes podrían reducir la barrera de entrada para actores maliciosos al compilar y presentar resultados fácilmente utilizables y accionables," añadió el documento.

El viernes, Cisco publicó su propio informe de jailbreaking dirigido a DeepSeek R1. Utilizando 50 prompts de HarmBench, los investigadores encontraron que DeepSeek tuvo una tasa de éxito de ataque del 100%, sin bloquear ningún prompt dañino. A continuación, se muestra una comparación de las tasas de resistencia de DeepSeek con otros modelos destacados.

"Debemos entender si DeepSeek y su nuevo paradigma de razonamiento tienen compromisos significativos en términos de seguridad," señaló el informe.

También el viernes, el proveedor de seguridad Wallarm publicó un informe afirmando haber ido más allá de simplemente inducir a DeepSeek a generar contenido dañino. Tras probar V3 y R1, Wallarm reveló el prompt del sistema de DeepSeek, que describe el comportamiento y las limitaciones del modelo.

Los hallazgos sugieren "vulnerabilidades potenciales en el marco de seguridad del modelo," según Wallarm.

OpenAI ha acusado a DeepSeek de usar sus modelos propietarios para entrenar V3 y R1, violando así sus términos de servicio. El informe de Wallarm afirma haber inducido a DeepSeek a mencionar a OpenAI en su linaje de entrenamiento, sugiriendo que "la tecnología de OpenAI podría haber jugado un papel en la formación de la base de conocimientos de DeepSeek."

"En el caso de DeepSeek, uno de los descubrimientos más intrigantes tras el jailbreak es la capacidad de extraer detalles sobre los modelos utilizados para el entrenamiento y la destilación. Normalmente, dicha información interna está protegida, impidiendo que los usuarios comprendan los conjuntos de datos propietarios o externos utilizados para optimizar el rendimiento," explicó el informe.

"Al eludir las restricciones estándar, los jailbreaks exponen cuánto control mantienen los proveedores de IA sobre sus propios sistemas, revelando no solo vulnerabilidades de seguridad, sino también evidencia potencial de influencia cruzada entre modelos en las tuberías de entrenamiento de IA," continuó.

El prompt que Wallarm usó para obtener esta respuesta fue redactado en el informe para evitar comprometer otros modelos vulnerables, según informaron los investigadores a ZDNET por correo electrónico. Enfatizaron que esta respuesta obtenida mediante jailbreak no confirma la sospecha de OpenAI de que DeepSeek destiló sus modelos.

Como han señalado 404 Media y otros, la preocupación de OpenAI es algo irónica dado el discurso en torno a su propio robo de datos públicos.

Wallarm informó a DeepSeek sobre la vulnerabilidad, y la empresa ha parcheado el problema desde entonces. Sin embargo, pocos días después de que se encontrara una base de datos de DeepSeek desprotegida y disponible en internet (y luego fuera retirada rápidamente tras la notificación), estos hallazgos indican agujeros de seguridad potencialmente significativos en los modelos que DeepSeek no probó a fondo antes de su lanzamiento. Cabe destacar que los investigadores han logrado frecuentemente realizar jailbreaks en modelos populares creados en EE. UU. por gigantes de IA más establecidos, incluyendo ChatGPT.