思科警告：流氓的微调LLMS的可能性高22倍

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

武器化大型语言模型重塑网络攻击

网络攻击的格局正在发生重大变革，这主要得益于武器化大型语言模型（LLMs）的出现。这些高级模型，如FraudGPT、GhostGPT和DarkGPT，正在重塑网络犯罪分子的策略，并迫使首席信息安全官（CISOs）重新思考他们的安全协议。这些模型具备自动化侦察、冒充身份和逃避检测的能力，正在以前所未有的规模加速社会工程攻击。

这些模型的月租费低至75美元，专为进攻性用途量身定制，支持的任务包括钓鱼攻击、漏洞生成、代码混淆、漏洞扫描和信用卡验证。网络犯罪集团、财团甚至国家行为者正在利用这些工具，将其作为平台、套件和租赁服务提供。就像合法的软件即服务（SaaS）应用程序一样，武器化LLMs配备了仪表板、API、定期更新，有时甚至还有客户支持。

VentureBeat正在密切关注这些武器化LLMs的快速发展。随着其复杂性的增加，开发者平台与网络犯罪套件之间的界限正变得日益模糊。随着租赁和租用价格的下降，更多攻击者正在探索这些平台，预示着AI驱动威胁的新时代。

合法LLMs面临威胁

武器化LLMs的扩散已达到一个临界点，甚至连合法的LLMs也面临被攻破并整合进犯罪工具链的风险。根据思科的《AI安全状况报告》，经过微调的LLMs产生有害输出的可能性是基础模型的22倍。虽然微调对于增强上下文相关性至关重要，但它也削弱了安全措施，使模型更容易受到越狱、提示注入和模型反转的攻击。

思科的研究表明，模型越是为生产环境优化，就越容易受到攻击。微调涉及的核心过程，如持续调整、第三方集成、编码、测试和代理编排，为攻击者提供了新的可利用途径。一旦入侵，攻击者可以迅速污染数据、劫持基础设施、改变代理行为，并大规模提取训练数据。如果没有额外的安全层，这些精心微调的模型很快就会成为攻击者可利用的漏洞。

微调LLMs：一把双刃剑

思科的安全团队对多个模型进行了广泛研究，包括Llama-2-7B和微软的领域特定Adapt LLMs，研究了微调对其影响。测试覆盖了医疗、金融和法律等多个领域。一个关键发现是，即使使用干净的数据集进行微调，也会破坏模型的对齐，尤其是在生物医学和法律等高度监管的领域。

尽管微调旨在提高任务性能，但它无意中削弱了内置的安全控制。对基础模型通常会失败的越狱尝试，在微调版本上成功率显著提高，特别是在具有严格合规要求的敏感领域。结果触目惊心：越狱成功率提高了三倍，恶意输出生成量比基础模型增加了2200%。这种权衡意味着，虽然微调提升了实用性，但也显著扩大了攻击面。

恶意LLMs的商品化

思科Talos一直在积极追踪这些黑市LLMs的崛起，提供了对其运营的洞察。像GhostGPT、DarkGPT和FraudGPT这样的模型在Telegram和暗网上以每月75美元的价格出售。这些工具设计为即插即用，适用于钓鱼攻击、漏洞开发、信用卡验证和混淆。

与内置安全功能的主流模型不同，这些恶意LLMs预配置为进攻性操作，并配备了模仿商业SaaS产品的API、更新和仪表板。

数据集污染：对AI供应链的60美元威胁

思科研究人员与Google、ETH Zurich和Nvidia合作揭示，攻击者仅需60美元即可污染AI模型的基础数据集，而无需零日漏洞。通过利用过期域名或在数据集归档期间定时编辑Wikipedia，攻击者可以污染像LAION-400M或COYO-700M这样低至0.01%的数据集，显著影响下游LLMs。

诸如分视图污染和抢先攻击的方法利用了网络爬取数据的固有信任。由于大多数企业LLMs基于开放数据构建，这些攻击可以悄无声息地扩展，并深入推理管道，构成对AI供应链的严重威胁。

分解攻击：提取敏感数据

思科研究中最令人担忧的发现之一是，LLMs能够在不触发安全机制的情况下泄露敏感训练数据。研究人员使用一种称为分解提示的技术，重构了超过20%的《纽约时报》和《华尔街日报》的选定文章。这种方法将提示分解为被护栏视为安全的子查询，然后重新组装输出以重现付费墙或受版权保护的内容。

这种攻击对使用专有或许可数据集训练的LLMs的企业构成了重大风险。漏洞不是发生在输入层面，而是通过模型的输出，使其难以检测、审计或遏制。对于医疗、金融或法律等受监管行业，这不仅引发了关于GDPR、HIPAA或CCPA合规性的担忧，还引入了一种新型风险，即合法来源的数据可能通过推理暴露。

最终思考：LLMs作为新的攻击面

思科的持续研究和Talos的暗网监控证实，武器化LLMs正变得日益复杂，暗网上正在展开价格和包装战。这些发现强调，LLMs不仅是企业的边缘工具，而是其核心组成部分。从微调相关风险到数据集污染和模型输出泄露，攻击者将LLMs视为可利用的关键基础设施。

思科报告的关键结论显而易见：静态护栏已不足以应对威胁。首席信息安全官和安全领导者必须获得整个IT环境的实时可见性，增强对抗性测试，并简化技术堆栈，以跟上这些不断演变的威胁。他们必须认识到，LLMs和模型代表了一个动态攻击面，随着微调的深入，其脆弱性不断增加。

相关文章

评论 (30)