Cisco advierte: LLMS ajustados 22 veces más probabilidades de volverse pícaros

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Los modelos de idiomas grandes armados remodelan los ataques cibernéticos

El paisaje de los ataques cibernéticos está experimentando una transformación significativa, impulsada por la aparición de modelos de lenguaje grande (LLM). Estos modelos avanzados, como Fraudgpt, GhostGPT y DarkGPT, están remodelando las estrategias de los ciberdelincuentes y obligando a los principales oficiales de seguridad de la información (CISO) a repensar sus protocolos de seguridad. Con las capacidades para automatizar el reconocimiento, hacer adelante identidades y evadir la detección, estos LLM están acelerando los ataques de ingeniería social a una escala sin precedentes.

Disponible por tan solo $ 75 al mes, estos modelos están adaptados para uso ofensivo, facilitando tareas como phishing, generación de exploits, ofuscación de código, escaneo de vulnerabilidad y validación de tarjeta de crédito. Los grupos de delitos cibernéticos, los sindicatos e incluso los estados nacionales están capitalizando estas herramientas, ofreciéndolas como plataformas, kits y servicios de arrendamiento. Al igual que las aplicaciones legítimas de software como servicio (SaaS), las LLM armadas vienen con paneles, API, actualizaciones regulares y, a veces, incluso atención al cliente.

VentureBeat está monitoreando de cerca la rápida evolución de estos LLM armados. A medida que su sofisticación crece, la distinción entre las plataformas de desarrolladores y los kits de cibercrimen se está volviendo cada vez más borrosa. Con la caída del arrendamiento y los precios de alquiler, más atacantes están explorando estas plataformas, anunciando una nueva era de amenazas impulsadas por la IA.

LLMS legítimos bajo amenaza

La proliferación de LLM de armado ha alcanzado un punto en el que incluso las LLM legítimas corren el riesgo de comprometerse e integrarse en las cadenas de herramientas criminales. Según el informe de seguridad del estado de AI de Cisco, los LLM ajustados tienen 22 veces más probabilidades de producir resultados dañinos que sus contrapartes base. Si bien el ajuste fino es crucial para mejorar la relevancia contextual, también debilita las medidas de seguridad, lo que hace que los modelos sean más susceptibles a jailbreaks, inyecciones rápidas e inversión del modelo.

La investigación de Cisco destaca que cuanto más se refina un modelo para la producción, más vulnerable se vuelve. Los procesos centrales involucrados en el ajuste fino, como los ajustes continuos, las integraciones de terceros, la codificación, las pruebas y la orquestación de agentes, crean nuevas vías para que los atacantes exploten. Una vez dentro, los atacantes pueden envenenar rápidamente datos, secuestrar infraestructura, alterar el comportamiento del agente y extraer datos de entrenamiento a gran escala. Sin capas de seguridad adicionales, estos modelos meticulosamente ajustados pueden convertirse rápidamente en pasivos, maduros para la explotación de los atacantes.

LLMS ajustado: una espada de doble filo

El equipo de seguridad de Cisco realizó una extensa investigación sobre el impacto del ajuste fino en múltiples modelos, incluidos LLAMA-2-7B y los LLM de adaptación específicos de dominio de Microsoft. Sus pruebas abarcaron varios sectores, incluidos la atención médica, las finanzas y la ley. Un hallazgo clave fue que el ajuste, incluso con conjuntos de datos limpios, desestabiliza la alineación de modelos, particularmente en campos altamente regulados como la biomedicina y la ley.

Aunque el ajuste fino tiene como objetivo mejorar el rendimiento de la tarea, inadvertidamente socava los controles de seguridad incorporados. Los intentos de jailbreak, que generalmente fallan contra los modelos de cimientos, tienen éxito a tasas mucho más altas contra versiones ajustadas, especialmente en dominios sensibles con estrictos requisitos de cumplimiento. Los resultados son marcados: las tasas de éxito de jailbreak se triplicaron y la generación de producción maliciosa aumentó en un 2,200% en comparación con los modelos de base. Esta compensación significa que si bien el ajuste fino mejora la utilidad, también amplía significativamente la superficie de ataque.

La mercantilización de los LLM maliciosos

Cisco Talos ha estado rastreando activamente el surgimiento de estos LLM del mercado negro, proporcionando información sobre sus operaciones. Modelos como GhostGPT, DarkGPT y FraudgPT están disponibles en Telegram y Dark Web por tan solo $ 75 al mes. Estas herramientas están diseñadas para el uso de plug-and-play en phishing, desarrollo de explotación, validación de tarjetas de crédito y ofuscación.

A diferencia de los modelos convencionales con características de seguridad incorporadas, estos LLM maliciosos están preconfigurados para operaciones ofensivas y vienen con API, actualizaciones y paneles que imitan los productos comerciales de SaaS.

Envenenamiento del conjunto de datos: una amenaza de $ 60 para las cadenas de suministro de IA

Los investigadores de Cisco, en colaboración con Google, ETH Zurich y Nvidia, han revelado que por solo $ 60, los atacantes pueden envenenar los conjuntos de datos fundamentales de los modelos de IA sin necesidad de hazañas de día cero. Al explotar los dominios vencidos o las ediciones de Wikipedia de sincronización durante el archivo de datos de datos, los atacantes pueden contaminar tan solo el 0.01% de los conjuntos de datos como Laion-400M o COYO-700M, influyendo significativamente en las LLM posteriores.

Métodos como el envenenamiento por visión dividida y los ataques de inicio aprovechan la confianza inherente en los datos gastados en la web. Con la mayoría de las LLM de Enterprise basadas en datos abiertos, estos ataques pueden escalar en silencio y persistir profundamente en tuberías de inferencia, lo que representa una seria amenaza para las cadenas de suministro de IA.

Ataques de descomposición: extraer datos confidenciales

Uno de los hallazgos más alarmantes de la investigación de Cisco es la capacidad de los LLM para filtrar los datos de entrenamiento sensible a los que se desencadenan los mecanismos de seguridad. Utilizando una técnica llamada indicación de descomposición, los investigadores reconstruyeron más del 20% de los artículos selectos del New York Times y el Wall Street Journal . Este método desglosa las indicaciones en subteres que se consideran seguras por las barandillas, luego vuelve a ensamblar los resultados para recrear contenido con cuidado de pago o con derechos de autor.

Este tipo de ataque plantea un riesgo significativo para las empresas, especialmente aquellas que usan LLM capacitadas en conjuntos de datos patentados o con licencia. La violación ocurre no en el nivel de entrada sino a través de las salidas del modelo, lo que dificulta la detección, auditoría o contiene. Para las organizaciones en sectores regulados como la atención médica, las finanzas o la ley, esto no solo plantea preocupaciones sobre GDPR, HIPAA o cumplimiento de CCPA, sino que también introduce una nueva clase de riesgo donde los datos de origen legal pueden exponerse por inferencia.

Pensamientos finales: LLMS como la nueva superficie de ataque

La investigación en curso de Cisco y el monitoreo web oscuro de Talos confirman que los LLM armados se están volviendo cada vez más sofisticados, con una guerra de precio y empaque en la red oscura. Los hallazgos subrayan que los LLM no son simplemente herramientas en el borde de la empresa; Son parte integral de su núcleo. Desde los riesgos asociados con el ajuste de fino hasta la intoxicación del conjunto de datos y las fugas de salida del modelo, los atacantes ven las LLM como una infraestructura crítica para ser explotada.

La conclusión clave del informe de Cisco es clara: las barandillas estáticas ya no son suficientes. Los líderes de CISOS y de seguridad deben obtener visibilidad en tiempo real en toda su propiedad de TI, mejorar las pruebas adversas y racionalizar su pila tecnológica para mantener el ritmo de estas amenazas en evolución. Deben reconocer que los LLM y los modelos representan una superficie de ataque dinámico que se vuelve cada vez más vulnerable a medida que se ajustan.

Artículo relacionado

comentario (30)