Cisco avertit: LLMS affinés 22 fois plus susceptibles de devenir voyous

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Les modèles de gros langues armées remodèlent les cyberattaques

Le paysage des cyberattaques subit une transformation significative, motivée par l'émergence de modèles de grande langue armés (LLM). Ces modèles avancés, tels que FraudGpt, GhostGpt et DarkGpt, remodèlent les stratégies des cybercriminels et forcent les directeurs de la sécurité de l'information (CISO) à repenser leurs protocoles de sécurité. Avec des capacités d'automatiser la reconnaissance, d'identiter les identités et d'échapper à la détection, ces LLM accélèrent les attaques d'ingénierie sociale à une échelle sans précédent.

Disponibles pour aussi peu que 75 $ par mois, ces modèles sont adaptés à une utilisation offensive, en facilitant les tâches comme le phishing, la génération d'exploits, l'obscurcissement du code, la numérisation de vulnérabilité et la validation des cartes de crédit. Les groupes de cybercriminalité, les syndicats et même les États-nations capitalisent sur ces outils, les offrant en tant que plateformes, kits et services de location. Tout comme les applications logicielles en tant que service (SaaS) légitimes, les LLM armées sont livrés avec des tableaux de bord, des API, des mises à jour régulières et parfois même un support client.

VentureBeat surveille de près l'évolution rapide de ces LLM armées. À mesure que leur sophistication se développe, la distinction entre les plates-formes de développeurs et les kits de cybercriminalité devient de plus en plus floue. Avec la bail de bail et la location, plus d'attaquants explorent ces plateformes, annonçant une nouvelle ère de menaces axées sur l'IA.

LLMS légitimes menacés

La prolifération des LLM armées a atteint un point où même les LLM légitimes risquent d'être compromises et intégrées dans des bandes d'outils criminelles. Selon le rapport de la sécurité de l'état de l'IA de Cisco, les LLMs affinés sont 22 fois plus susceptibles de produire des résultats nocifs que leurs homologues de base. Bien que le réglage fin soit crucial pour améliorer la pertinence contextuelle, il affaiblit également les mesures de sécurité, ce qui rend les modèles plus sensibles aux jailbreaks, aux injections rapides et à l'inversion du modèle.

La recherche de Cisco souligne que plus un modèle est affiné pour la production, plus il devient vulnérable. Les processus principaux impliqués dans le réglage fin, tels que les ajustements continus, les intégrations tierces, le codage, les tests et l'orchestration agentique, créent de nouvelles avenues pour que les attaquants à exploiter. Une fois à l'intérieur, les attaquants peuvent rapidement empoisonner les données, détourner l'infrastructure, modifier le comportement des agents et extraire les données d'entraînement à grande échelle. Sans couches de sécurité supplémentaires, ces modèles méticuleusement affinés peuvent rapidement devenir des responsabilités, mûres pour l'exploitation par les attaquants.

LLMS de réglage fin: une épée à double tranchant

L'équipe de sécurité de Cisco a mené des recherches approfondies sur l'impact de l'affinement sur plusieurs modèles, notamment LLAMA-2-7B et les LLM adaptables adaptés au domaine de Microsoft. Leurs tests ont duré divers secteurs, notamment des soins de santé, des finances et du droit. Une conclusion clé était que le réglage fin, même avec des ensembles de données propres, déstabilise l'alignement des modèles, en particulier dans des domaines hautement réglementés comme la biomédecine et la loi.

Bien que le réglage fin vise à améliorer les performances des tâches, il sape par inadvertance les contrôles de sécurité intégrés. Les tentatives de jailbreak, qui échouent généralement contre les modèles de fondation, réussissent à des taux beaucoup plus élevés contre les versions affinées, en particulier dans des domaines sensibles avec des exigences de conformité strictes. Les résultats sont austères: les taux de réussite en jailbreak ont ​​triplé et la génération de production malveillante a augmenté de 2 200% par rapport aux modèles de fondation. Ce compromis signifie que, bien que le réglage fin améliore l'utilité, il élargit également considérablement la surface d'attaque.

La marchandisation des LLM malveillants

Cisco Talos a suivi activement la montée en puissance de ces LLM du marché noir, fournissant des informations sur leurs opérations. Des modèles comme Ghostgpt, Darkgpt et FraudGpt sont disponibles sur Telegram et le Dark Web pour aussi peu que 75 $ par mois. Ces outils sont conçus pour une utilisation des plug-and-play dans le phishing, le développement d'exploitation, la validation des cartes de crédit et l'obscurcissement.

Contrairement aux modèles grand public avec des caractéristiques de sécurité intégrées, ces LLM malveillants sont préconfigurés pour les opérations offensives et sont livrées avec des API, des mises à jour et des tableaux de bord qui imitent les produits SaaS commerciaux.

Empoisonnement de l'ensemble de données: une menace de 60 $ pour les chaînes d'approvisionnement en IA

Les chercheurs de Cisco, en collaboration avec Google, ETH Zurich et Nvidia, ont révélé que pour seulement 60 $, les attaquants peuvent empoisonner les ensembles de données fondamentaux des modèles d'IA sans avoir besoin d'exploits zéro-jour. En exploitant des domaines expirés ou des modifications de Wikipedia expirées pendant l'archivage des ensembles de données, les attaquants peuvent contaminer aussi peu que 0,01% des ensembles de données comme LAION-400M ou COYO-700M, influençant de manière significative les LLM en aval.

Des méthodes telles que l'intoxication à vue divisée et les attaques de précurse profitent de la confiance inhérente dans les données raffinées par le Web. Avec la plupart des LLM en entreprise construites sur des données ouvertes, ces attaques peuvent évoluer tranquillement et persister profondément dans les pipelines d'inférence, constituant une menace sérieuse pour les chaînes d'approvisionnement en IA.

Attaques de décomposition: extraire des données sensibles

L'une des résultats les plus alarmants des recherches de Cisco est la capacité des LLM à divulguer des données d'entraînement sensibles sans déclencher des mécanismes de sécurité. En utilisant une technique appelée invitation de décomposition, les chercheurs ont reconstruit plus de 20% de certains articles du New York Times et du Wall Street Journal . Cette méthode décompose les invites en sous-Quelles qui sont jugées sûres par les garde-corps, puis remontent les sorties pour recréer un contenu payé ou protégé par le droit d'auteur.

Ce type d'attaque présente un risque important pour les entreprises, en particulier ceux utilisant des LLM formées sur des ensembles de données propriétaires ou sous licence. La brèche ne se produit pas au niveau d'entrée mais via les sorties du modèle, ce qui rend difficile la détection, l'audit ou le contenu. Pour les organisations dans des secteurs réglementés comme les soins de santé, la finance ou le droit, cela soulève non seulement les préoccupations concernant la conformité au RGPD, HIPAA ou CCPA, mais introduit également une nouvelle classe de risque où des données légalement provenant peuvent être exposées par inférence.

Réflexions finales: LLMS en tant que nouvelle surface d'attaque

La recherche en cours de Cisco et la surveillance du Web Dark de Talos confirment que les LLM armées deviennent de plus en plus sophistiquées, avec un prix et une guerre d'emballage qui se déroulent sur le Web Dark. Les résultats soulignent que les LLM ne sont pas simplement des outils au bord de l'entreprise; Ils font partie intégrante de son cœur. Des risques associés au réglage fin à l'empoisonnement de l'ensemble de données et aux fuites de sortie du modèle, les attaquants considèrent les LLM comme une infrastructure critique à exploiter.

Le point à retenir clé du rapport de Cisco est clair: les garde-corps statiques ne sont plus suffisants. Les CISO et les dirigeants de la sécurité doivent obtenir une visibilité en temps réel dans toute leur domaine informatique, améliorer les tests contradictoires et rationaliser leur pile technologique pour suivre le rythme de ces menaces en évolution. Ils doivent reconnaître que les LLM et les modèles représentent une surface d'attaque dynamique qui devient de plus en plus vulnérable car ils sont affinés.

Article connexe

commentaires (30)