思科警告：流氓的微调LLMS的可能性高22倍

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

武器化的大语言模型重塑网络攻击

网络攻击的景观正在发生重大的转变，这是由于武器化大语模型（LLM）的出现而驱动的。这些高级模型，例如欺诈，Ghostgpt和Darkgpt，正在重塑网络犯罪分子的策略，并迫使首席信息安全官（CISO）重新考虑其安全协议。这些LLM具有自动化侦察，模仿身份和逃避检测的能力，可以以前所未有的规模加速社会工程攻击。

这些型号的价格低至每月75美元，是针对进攻性使用的，促进了网络钓鱼，发电，代码混淆，漏洞扫描和信用卡验证等任务。网络犯罪集团，集团甚至民族国家都在利用这些工具，将其作为平台，套件和租赁服务提供。与合法的软件服务（SaaS）应用程序一样，武器化的LLMS带有仪表板，API，常规更新，有时甚至是客户支持。

VentureBeat正在密切监视这些武器化LLM的快速发展。随着它们的复杂性的增长，开发人员平台和网络犯罪套件之间的区别越来越模糊。随着租约和租金价格的下跌，更多的攻击者正在探索这些平台，并预示着AI驱动威胁的新时代。

合法的LLM受到威胁

武器化的LLM的扩散已经达到了即使是合法的LLM也有被妥协并融入刑事工具链的风险。根据思科的《 AI安全状况报告》 ，精细调整的LLM产生有害产出的可能性是其基本同行的22倍。虽然微调对于增强上下文相关性至关重要，但它还削弱了安全措施，使模型更容易受到越狱，及时的注射和模型反演。

思科的研究强调，生产模型的精制越多，它就越脆弱。涉及微调的核心过程，例如持续调整，第三方集成，编码，测试和代理编排，为攻击者创造了新的途径。进入室内后，攻击者可以快速毒化数据，劫持基础架构，改变代理行为，并大规模提取培训数据。如果没有其他安全层，这些精心调整的模型可以迅速成为责任，攻击者剥削成熟。

微调LLM：双刃剑

思科的安全团队对微调对多种模型的影响进行了广泛的研究，包括Llama-2-7B和Microsoft的特定于域的Adapt LLM。他们的测试跨越了各个部门，包括医疗保健，金融和法律。一个关键的发现是，即使使用干净的数据集进行微调，也破坏了模型的一致性，尤其是在诸如生物医学和法律之类的高度调节领域。

尽管微调旨在提高任务绩效，但它无意中破坏了内置的安全控制。越狱的尝试通常会反对基础模型，以更高的速度与微调版本取得了成功，尤其是在具有严格合规性要求的敏感域中。结果是鲜明的：与基础模型相比，越狱的成功率增加了两倍，恶意产出的产生增加了2200％。这种权衡意味着，尽管微调增强了效用，但它也大大拓宽了攻击表面。

恶意LLMS的商品化

思科塔洛斯（Cisco Talos）一直在积极跟踪这些黑人市场LLM的兴起，从而提供了对其业务的见解。像Ghostgpt，Darkgpt和Fraudgpt这样的模型可在Telegram和Dark Web上提供每月75美元。这些工具旨在用于网络钓鱼，利用开发，信用卡验证和混淆。

与具有内置安全功能的主流型号不同，这些恶意的LLM被预先配置用于进攻性操作，并带有模仿商业SaaS产品的API，更新和仪表板。

数据集中毒：对AI供应链的60美元威胁

思科研究人员与Google，Eth Zurich和Nvidia合作，透露，只有60美元，攻击者就可以毒化AI模型的基础数据集而无需零日的利用。通过在数据集归档期间利用已过期的域或定时Wikipedia编辑，攻击者可以污染高达0.01％的数据集，例如LAION-400M或COYO-700M，从而显着影响下游LLMS。

诸如分裂视图中毒和领先攻击之类的方法利用了网络爬行数据的固有信任。随着大多数企业LLM在开放数据上构建，这些攻击可以安静地扩展并持续到推理管道中，从而对AI供应链构成严重威胁。

分解攻击：提取敏感数据

思科研究中最令人震惊的发现之一是LLM能够泄漏敏感训练数据而不触发安全机制的能力。使用一种称为分解提示的技术，研究人员从《纽约时报》和《华尔街日报》中重建了20％以上的精选文章。此方法将提示分解为由护栏认为安全的子征服，然后重新组装输出以重新创建付费或受版权保护的内容。

这种类型的攻击对企业构成了重大风险，尤其是那些使用专有或有执照数据集培训的LLM的攻击风险。漏洞不是在输入级别而是通过模型的输出发生，因此难以检测，审核或包含。对于医疗保健，金融或法律等受监管部门的组织，这不仅引起了对GDPR，HIPAA或CCPA合规性的担忧，而且还引入了一种新的风险，可以通过推理来暴露合法的数据。

最终想法：LLM作为新攻击表面

思科正在进行的研究和Talos的Dark Web监控证实，武器化的LLM越来越复杂，价格和包装战在黑暗的网络上展开。研究结果强调了LLM不仅是企业边缘的工具。它们是其核心不可或缺的。从与微调相关的风险到数据集中毒和模型输出泄漏，攻击者将LLMS视为要利用的关键基础设施。

思科报告的关键要点很明确：静态护栏不再足够。 CISO和安全领导者必须在其整个IT遗产中获得实时可见性，增强对抗性测试，并简化其技术堆栈，以保持这些不断发展的威胁的步伐。他们必须认识到，LLM和模型代表了动态攻击表面，随着它们的微调，它们变得越来越脆弱。

相关文章

评论 (30)