Cisco warn

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Waffen große Sprachmodelle fordern Cyberangriffe um

Die Landschaft von Cyberangriffen wird in einer signifikanten Transformation durch die Entstehung von Waffenmodellen (LLMs) unterzogen. Diese fortgeschrittenen Modelle wie Betrugsgpt, Ghostgpt und DarkGPT verformern die Strategien von Cyberkriminellen und zwingen die Beamten der Informationssicherheit (CHINE Information Security Officers), ihre Sicherheitsprotokolle zu überdenken. Diese LLMs beschleunigen die Social Engineering -Angriffe in einem beispiellosen Maßstab, um die Aufklärung zu automatisieren, Identitäten zu haben und sich zu entziehen.

Diese Modelle sind für nur 75 US -Dollar pro Monat erhältlich und sind auf offensiven Gebrauch zugeschnitten, die Aufgaben wie Phishing, Exploit -Generierung, Code verschleiert, Schwachstellenscanning und Kreditkartenvalidierung. Cybercrime-Gruppen, Syndikate und sogar Nationalstaaten nutzen diese Tools und bieten sie als Plattformen, Kits und Leasingdienste an. Ähnlich wie legitime Software-as-a-Service-Anwendungen (SaaS) -Ansäure (SaaS) sind Waffen-LLMs mit Dashboards, APIs, regelmäßigen Updates und manchmal sogar Kundenunterstützung ausgestattet.

VentureBeat überwacht die schnelle Entwicklung dieser Waffen -LLMs genau. Wenn ihre Raffinesse wächst, wird die Unterscheidung zwischen Entwicklerplattformen und Cyber ​​-Crime -Kits zunehmend verschwommen. Mit fallenden Miet- und Mietpreisen erkundet mehr Angreifer diese Plattformen und kündigen eine neue Ära von KI-gesteuerten Bedrohungen.

Legitime LLMs bedroht

Die Verbreitung von Waffen LLMs hat einen Punkt erreicht, an dem selbst legitime LLMs das Risiko ausgesetzt sind, gefährdet und in kriminelle Toolchains integriert zu werden. Laut Ciscos The State of AI-Sicherheitsbericht erzeugen feine LLMs 22-mal häufiger schädliche Ausgaben als ihre Basis-Gegenstücke. Während die Feinabstimmung für die Verbesserung der kontextuellen Relevanz von entscheidender Bedeutung ist, schwächt es auch Sicherheitsmaßnahmen und macht die Modelle anfälliger für Jailbreaks, sofortige Injektionen und Modellinversion.

Die Forschungsergebnisse von Cisco belegen, dass je mehr ein Modell für die Produktion verfeinert wird, desto anfälliger wird es. Die Kernprozesse, die an der Feinabstimmung beteiligt sind, wie kontinuierliche Anpassungen, Integrationen von Drittanbietern, Codierung, Tests und agentenorchestrierung, schaffen neue Wege, die Angreifer ausnutzen können. Sobald Angreifer im Inneren im Inneren sind, können sie Daten schnell vergiften, die Infrastruktur entführen, das Agentenverhalten verändern und Trainingsdaten in großem Maßstab extrahieren. Ohne zusätzliche Sicherheitsschichten können diese akribisch fein abgestimmten Modelle schnell zu Verbindlichkeiten werden, die für die Ausbeutung durch Angreifer reif werden.

Feinabstimmung LLMs: Ein zweischneidiges Schwert

Das Sicherheitsteam von Cisco führte umfangreiche Untersuchungen zu den Auswirkungen der Feinabstimmung auf mehrere Modelle durch, darunter LLAMA-2-7B und Microsofts domänenspezifische Anpassungs-LLMs. Ihre Tests umfassten verschiedene Sektoren, einschließlich Gesundheitsversorgung, Finanzen und Recht. Ein wichtiger Befund war, dass die Feinabstimmung selbst mit sauberen Datensätzen die Ausrichtung von Modellen, insbesondere in stark regulierten Bereichen wie Biomedizin und Recht, destabilisiert.

Obwohl die Feinabstimmung darauf abzielt, die Aufgabenleistung zu verbessern, untergräbt dies versehentlich die integrierten Sicherheitskontrollen. Jailbreak-Versuche, die normalerweise gegen Grundmodelle scheitern, gelten mit viel höheren Raten gegenüber fein abgestimmten Versionen, insbesondere in sensiblen Bereichen mit strengen Einhaltung von Anforderungen. Die Ergebnisse sind Stark: Die Erfolgsquoten der Jailbreak verdreifacht sich und die böswillige Produktionsgenerierung stieg im Vergleich zu Fundamentmodellen um 2.200%. Dieser Kompromiss bedeutet, dass die Feinabstimmung den Nutzen verbessert, aber auch die Angriffsfläche erheblich erweitert.

Die Commoditisierung von böswilligen LLMs

Cisco Talos hat den Aufstieg dieser LLMs Black-Market aktiv verfolgt und Einblicke in ihre Operationen gewährt. Modelle wie Ghostgpt, DarkGPT und Astdgpt sind im Telegramm und im Dark Web für nur 75 US -Dollar pro Monat erhältlich. Diese Tools sind für die Verwendung von Plug-and-Play in Phishing, Exploit-Entwicklung, Kreditkartenvalidierung und Verschleierung ausgelegt.

Im Gegensatz zu Mainstream-Modellen mit integrierten Sicherheitsfunktionen sind diese böswilligen LLMs für offensive Operationen vorkonfiguriert und sind mit APIs, Updates und Dashboards ausgestattet, die kommerzielle SaaS-Produkte imitieren.

Datensatzvergiftung: Eine Bedrohung von 60 US -Dollar für KI -Versorgungsketten

Cisco-Forscher haben in Zusammenarbeit mit Google, Eth Zürich und Nvidia ergeben, dass Angreifer für nur 60 US-Dollar die grundlegenden Datensätze von AI-Modellen vergiften können, ohne dass Null-Day-Exploits erforderlich sind. Durch die Nutzung abgelaufener Domänen oder zeitliche Wikipedia-Änderungen während des Datensatzarchivierens können Angreifer nur 0,01% der Datensätze wie Laion-400m oder Coyo-700m kontaminieren und die nachgeschalteten LLM erheblich beeinflussen.

Methoden wie Split-View-Vergiftungen und Vorreiterangriffe nutzen das inhärente Vertrauen in Web-Crawled-Daten. Bei den meisten Enterprise -LLMs, die auf offenen Daten basieren, können diese Angriffe leise und tief in Inferenzpipelines bestehen und eine ernsthafte Bedrohung für KI -Versorgungsketten darstellen.

Zersetzungsangriffe: Extrahieren sensibler Daten

Einer der alarmierendsten Ergebnisse aus der Forschung von Cisco ist die Fähigkeit von LLMs, sensible Trainingsdaten zu lecken, ohne Sicherheitsmechanismen auszulösen. Unter Verwendung einer Technik namens Decomposition -Aufforderung rekonstruierte die Forscher über 20% der ausgewählten Artikel aus der New York Times und des Wall Street Journal . Diese Methode unterteilt die Eingabeaufforderungen in Unterausfragen, die von Leitplanken als sicher gilt, und stellt dann die Ausgänge wieder zusammen, um Paywalled oder urheberrechtlich geschützte Inhalte neu zu erstellen.

Diese Art von Angriff stellt ein erhebliches Risiko für Unternehmen dar, insbesondere solche, die LLMs verwenden, die auf proprietären oder lizenzierten Datensätzen geschult sind. Der Verstoß erfolgt nicht auf der Eingangsebene, sondern über die Ausgaben des Modells, was es schwierig macht, zu erkennen, zu prüfen oder zu enthalten. Für Organisationen in regulierten Sektoren wie Gesundheitswesen, Finanzierung oder Recht wirft dies nicht nur Bedenken hinsichtlich der Einhaltung der DSGVO, der HIPAA oder der CCPA auf, sondern führt auch eine neue Risikoklasse ein, bei der legal gesammelte Daten durch Inferenz aufgedeckt werden können.

Letzte Gedanken: LLMs als neue Angriffsfläche

Die laufende Forschung von Cisco und die dunkle Webüberwachung von Talos bestätigen, dass Waffen LLMs immer anspruchsvoller werden, wobei sich ein Preis und ein Verpackungskrieg im dunklen Web entfalten. Die Ergebnisse unterstreichen, dass LLMs nicht nur Werkzeuge am Rande des Unternehmens sind. Sie sind integraler Bestandteil ihres Kerns. Von den Risiken, die mit der Feinabstimmung bis hin zu Lecks für Datensatzvergiftungen und Modellausgaben verbunden sind, sehen Angreifer LLMs als kritische Infrastruktur an.

Der wichtigste Treffer aus dem Bericht von Cisco ist klar: Die statischen Leitplanken reichen nicht mehr aus. CISOS und Sicherheitsleiter müssen in ihrem gesamten IT-Nachlass in Echtzeit Sichtbarkeit gewinnen, kontrovers Tests verbessern und ihren Tech-Stack rationalisieren, um mit diesen sich entwickelnden Bedrohungen Schritt zu halten. Sie müssen erkennen, dass LLMs und Modelle eine dynamische Angriffsfläche darstellen, die immer anfälliger wird, wenn sie fein abgestimmt sind.

Verwandter Artikel

Kommentare (30)