Cisco avertit: LLMS affinés 22 fois plus susceptibles de devenir voyous

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Les modèles de langage de grande échelle militarisés redéfinissent les cyberattaques

Le paysage des cyberattaques connaît une transformation significative, propulsée par l'émergence de modèles de langage de grande échelle (LLMs) militarisés. Ces modèles avancés, tels que FraudGPT, GhostGPT et DarkGPT, redéfinissent les stratégies des cybercriminels et obligent les responsables de la sécurité de l'information (CISOs) à repenser leurs protocoles de sécurité. Avec des capacités à automatiser la reconnaissance, usurper des identités et échapper à la détection, ces LLMs accélèrent les attaques d'ingénierie sociale à une échelle sans précédent.

Disponibles pour aussi peu que 75 $ par mois, ces modèles sont conçus pour un usage offensif, facilitant des tâches telles que le phishing, la génération d'exploits, l'obfuscation de code, l'analyse de vulnérabilités et la validation de cartes de crédit. Les groupes de cybercriminalité, les syndicats et même les États-nations exploitent ces outils, les proposant sous forme de plateformes, de kits et de services de location. Tout comme les applications légitimes de logiciel en tant que service (SaaS), les LLMs militarisés sont équipés de tableaux de bord, d'APIs, de mises à jour régulières et parfois même d'un support client.

VentureBeat surveille de près l'évolution rapide de ces LLMs militarisés. À mesure que leur sophistication croît, la distinction entre les plateformes de développement et les kits de cybercriminalité devient de plus en plus floue. Avec la baisse des prix de location et de leasing, de plus en plus d'attaquants explorent ces plateformes, annonçant une nouvelle ère de menaces alimentées par l'IA.

Les LLMs légitimes sous menace

La prolifération des LLMs militarisés a atteint un point où même les LLMs légitimes risquent d'être compromis et intégrés dans les chaînes d'outils criminels. Selon le rapport de Cisco L'état de la sécurité de l'IA, les LLMs affinés sont 22 fois plus susceptibles de produire des résultats nuisibles que leurs homologues de base. Bien que l'affinage soit crucial pour améliorer la pertinence contextuelle, il affaiblit également les mesures de sécurité, rendant les modèles plus vulnérables aux jailbreaks, aux injections de prompts et à l'inversion de modèles.

Les recherches de Cisco soulignent que plus un modèle est affiné pour la production, plus il devient vulnérable. Les processus centraux impliqués dans l'affinage, tels que les ajustements continus, les intégrations tierces, le codage, les tests et l'orchestration agentique, créent de nouvelles opportunités pour les attaquants. Une fois à l'intérieur, les attaquants peuvent rapidement empoisonner les données, détourner l'infrastructure, modifier le comportement des agents et extraire les données d'entraînement à grande échelle. Sans couches de sécurité supplémentaires, ces modèles minutieusement affinés peuvent rapidement devenir des passifs, prêts à être exploités par les attaquants.

Affiner les LLMs : une arme à double tranchant

L'équipe de sécurité de Cisco a mené des recherches approfondies sur l'impact de l'affinage sur plusieurs modèles, y compris Llama-2-7B et les LLMs Adapt spécifiques à un domaine de Microsoft. Leurs tests ont couvert divers secteurs, y compris la santé, la finance et le droit. Une constatation clé était que l'affinage, même avec des ensembles de données propres, déstabilise l'alignement des modèles, en particulier dans des domaines hautement réglementés comme la biomédecine et le droit.

Bien que l'affinage vise à améliorer les performances des tâches, il compromet involontairement les contrôles de sécurité intégrés. Les tentatives de jailbreak, qui échouent généralement contre les modèles de base, réussissent à des taux beaucoup plus élevés contre les versions affinées, en particulier dans les domaines sensibles avec des exigences de conformité strictes. Les résultats sont frappants : les taux de réussite des jailbreaks ont triplé, et la génération de résultats malveillants a augmenté de 2 200 % par rapport aux modèles de base. Ce compromis signifie que, bien que l'affinage améliore l'utilité, il élargit également considérablement la surface d'attaque.

La marchandisation des LLMs malveillants

Cisco Talos suit activement la montée de ces LLMs du marché noir, offrant des informations sur leurs opérations. Des modèles comme GhostGPT, DarkGPT et FraudGPT sont disponibles sur Telegram et le dark web pour aussi peu que 75 $ par mois. Ces outils sont conçus pour une utilisation plug-and-play dans le phishing, le développement d'exploits, la validation de cartes de crédit et l'obfuscation.

Contrairement aux modèles grand public avec des fonctionnalités de sécurité intégrées, ces LLMs malveillants sont préconfigurés pour des opérations offensives et sont livrés avec des APIs, des mises à jour et des tableaux de bord qui imitent les produits SaaS commerciaux.

Empoisonnement des ensembles de données : une menace à 60 $ pour les chaînes d'approvisionnement de l'IA

Les chercheurs de Cisco, en collaboration avec Google, ETH Zurich et Nvidia, ont révélé que pour seulement 60 $, les attaquants peuvent empoisonner les ensembles de données fondamentaux des modèles d'IA sans avoir besoin d'exploits zero-day. En exploitant les domaines expirés ou en chronométrant les modifications de Wikipédia pendant l'archivage des ensembles de données, les attaquants peuvent contaminer aussi peu que 0,01 % des ensembles de données comme LAION-400M ou COYO-700M, influençant significativement les LLMs en aval.

Des méthodes telles que l'empoisonnement par vue fractionnée et les attaques de frontrunning exploitent la confiance inhérente aux données collectées sur le web. Avec la plupart des LLMs d'entreprise construits sur des données ouvertes, ces attaques peuvent se propager discrètement et persister profondément dans les pipelines d'inférence, posant une menace sérieuse pour les chaînes d'approvisionnement de l'IA.

Attaques de décomposition : extraction de données sensibles

L'une des découvertes les plus alarmantes des recherches de Cisco est la capacité des LLMs à divulguer des données d'entraînement sensibles sans déclencher les mécanismes de sécurité. En utilisant une technique appelée décomposition de prompts, les chercheurs ont reconstruit plus de 20 % de certains articles de The New York Times et The Wall Street Journal. Cette méthode décompose les prompts en sous-requêtes jugées sûres par les garde-fous, puis réassemble les sorties pour recréer du contenu protégé par des paywalls ou des droits d'auteur.

Ce type d'attaque représente un risque significatif pour les entreprises, en particulier celles utilisant des LLMs entraînés sur des ensembles de données propriétaires ou sous licence. La violation se produit non pas au niveau des entrées mais par les sorties du modèle, rendant difficile sa détection, son audit ou sa containment. Pour les organisations dans des secteurs réglementés comme la santé, la finance ou le droit, cela soulève non seulement des préoccupations concernant la conformité au GDPR, HIPAA ou CCPA, mais introduit également une nouvelle classe de risques où des données légalement obtenues peuvent être exposées par inférence.

Réflexions finales : les LLMs comme nouvelle surface d'attaque

Les recherches en cours de Cisco et la surveillance du dark web par Talos confirment que les LLMs militarisés deviennent de plus en plus sophistiqués, avec une guerre des prix et des emballages se déroulant sur le dark web. Les conclusions soulignent que les LLMs ne sont pas simplement des outils à la périphérie de l'entreprise ; ils sont au cœur de celle-ci. Des risques associés à l'affinage à l'empoisonnement des ensembles de données et aux fuites de sorties de modèles, les attaquants considèrent les LLMs comme une infrastructure critique à exploiter.

La principale conclusion du rapport de Cisco est claire : les garde-fous statiques ne suffisent plus. Les CISOs et les responsables de la sécurité doivent obtenir une visibilité en temps réel sur l'ensemble de leur parc informatique, renforcer les tests adversariaux et rationaliser leur pile technologique pour suivre le rythme de ces menaces en évolution. Ils doivent reconnaître que les LLMs et les modèles représentent une surface d'attaque dynamique qui devient de plus en plus vulnérable à mesure qu'ils sont affinés.

Article connexe

commentaires (30)