A Cisco avisa: LLMs de ajuste fino 22 vezes mais chances de ficar desonesto

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

Modelos de idiomas grandes armados reformulam os ataques cibernéticos

A paisagem dos ataques cibernéticos está passando por uma transformação significativa, impulsionada pelo surgimento de grandes modelos de linguagem armada (LLMS). Esses modelos avançados, como fraudgpt, GhostGPT e DarkGPT, estão remodelando as estratégias dos cibercriminosos e forçando os principais agentes de segurança da informação (CISOs) a repensar seus protocolos de segurança. Com os recursos para automatizar o reconhecimento, se passar por identidades e detectar, esses LLMs estão acelerando ataques de engenharia social em uma escala sem precedentes.

Disponíveis por apenas US $ 75 por mês, esses modelos são adaptados para uso ofensivo, facilitando tarefas como phishing, geração de exploração, ofuscação de código, varredura de vulnerabilidade e validação de cartão de crédito. Grupos de crimes cibernéticos, sindicatos e até estados-nação estão capitalizando essas ferramentas, oferecendo-as como plataformas, kits e serviços de leasing. Assim como os aplicativos legítimos de software como serviço (SaaS), o LLMS armassado vem com painéis, APIs, atualizações regulares e, às vezes, até suporte ao cliente.

A VentureBeat está monitorando de perto a rápida evolução desses LLMs armados. À medida que sua sofisticação cresce, a distinção entre plataformas de desenvolvedor e kits de crime cibernético está ficando cada vez mais borrada. Com a queda dos preços do arrendamento e do aluguel, mais invasores estão explorando essas plataformas, anunciando uma nova era de ameaças orientadas pela IA.

LLMs legítimos sob ameaça

A proliferação de LLMs armados chegou a um ponto em que até LLMs legítimos correm o risco de serem comprometidos e integrados às cadeias de ferramentas criminais. De acordo com o relatório de segurança do estado da AI da Cisco, os LLMs de ajuste fino têm 22 vezes mais chances de produzir saídas prejudiciais do que suas contrapartes básicas. Embora o ajuste fino seja crucial para aumentar a relevância contextual, também enfraquece medidas de segurança, tornando os modelos mais suscetíveis a jailbreaks, injeções imediatas e inversão de modelos.

A pesquisa da Cisco destaca que quanto mais um modelo é refinado para produção, mais vulnerável se torna. Os processos principais envolvidos no ajuste fino, como ajustes contínuos, integrações de terceiros, codificação, teste e orquestração agêntica, criam novos caminhos para os invasores explorarem. Uma vez lá dentro, os invasores podem envenenar rapidamente dados, sequestrar infraestrutura, alterar o comportamento do agente e extrair dados de treinamento em larga escala. Sem camadas de segurança adicionais, esses modelos meticulosamente ajustados podem se tornar rapidamente passivos, maduros para a exploração pelos atacantes.

LLMs de ajuste fino: uma faca de dois gumes

A equipe de segurança da Cisco conduziu uma extensa pesquisa sobre o impacto do ajuste fino em vários modelos, incluindo o LLAMA-2-7B e o Adapt LLMS, específico do domínio da Microsoft. Seus testes abrangeram vários setores, incluindo assistência médica, finanças e direito. Uma descoberta importante foi que o ajuste fino, mesmo com conjuntos de dados limpos, desestabiliza o alinhamento de modelos, particularmente em campos altamente regulamentados como biomedicina e direito.

Embora o ajuste fino tenha como objetivo melhorar o desempenho da tarefa, ele prejudica inadvertidamente os controles de segurança embutidos. As tentativas de jailbreak, que normalmente falham contra os modelos de fundação, conseguem taxas muito mais altas contra versões ajustadas, especialmente em domínios sensíveis com requisitos estritos de conformidade. Os resultados são acidentados: as taxas de sucesso do jailbreak triplicaram e a geração maliciosa da produção aumentou 2.200% em comparação com os modelos de fundação. Esse trade-off significa que, embora o ajuste fino aumente a utilidade, também amplia significativamente a superfície de ataque.

A comoditização de LLMs maliciosos

A Cisco Talos tem rastreado ativamente a ascensão desses LLMs do Black-Market, fornecendo informações sobre suas operações. Modelos como GhostGPT, Darkgpt e Fraudgpt estão disponíveis no Telegram e na Web Dark por apenas US $ 75 por mês. Essas ferramentas foram projetadas para uso plug-and-play em phishing, desenvolvimento de exploração, validação de cartão de crédito e ofuscação.

Ao contrário dos modelos convencionais com recursos de segurança integrados, esses LLMs maliciosos são pré-configurados para operações ofensivas e vêm com APIs, atualizações e painéis que imitam produtos comerciais de SaaS.

Envenenamento por conjunto de dados: uma ameaça de US $ 60 às cadeias de suprimentos de IA

Os pesquisadores da Cisco, em colaboração com o Google, a ETH Zurique e a Nvidia, revelaram que, por apenas US $ 60, os invasores podem envenenar os conjuntos de dados fundamentais dos modelos de IA sem precisar de explorações de zero dia. Ao explorar domínios expirados ou edições da Wikipedia de tempo durante o arquivamento do conjunto de dados, os atacantes podem contaminar apenas 0,01% dos conjuntos de dados como Laion-400m ou Coyo-700M, influenciando significativamente o LLMS a jusante.

Métodos como envenenamento por visão dividida e ataques de pioneiros aproveitam a confiança inerente aos dados de rastreamento da Web. Com a maioria dos LLMs corporativos construídos com dados abertos, esses ataques podem escalar silenciosamente e persistir profundamente em pipelines de inferência, representando uma séria ameaça às cadeias de suprimentos de IA.

Ataques de decomposição: Extraindo dados sensíveis

Uma das descobertas mais alarmantes da pesquisa da Cisco é a capacidade dos LLMs de vazar dados de treinamento sensíveis ao desencadear mecanismos de segurança. Usando uma técnica chamada decomposição provocada, os pesquisadores reconstruíram mais de 20% dos artigos selecionados do New York Times e do Wall Street Journal . Esse método divide solicita sub-questões que são consideradas seguras pelos corrimãos e remontam as saídas para recriar conteúdo com paredes pagas ou com direitos autorais.

Esse tipo de ataque representa um risco significativo para as empresas, especialmente aquelas que usam LLMs treinados em conjuntos de dados proprietários ou licenciados. A violação não ocorre no nível de entrada, mas através das saídas do modelo, dificultando a detecção, auditoria ou conter. Para organizações em setores regulamentados como assistência médica, finanças ou direito, isso não apenas levanta preocupações sobre a conformidade com GDPR, HIPAA ou CCPA, mas também introduz uma nova classe de risco em que dados de origem legalmente podem ser expostos por inferência.

Pensamentos finais: LLMS como a nova superfície de ataque

A pesquisa em andamento da Cisco e o monitoramento da Web Dark da Cisco confirmam que os LLMs armados estão se tornando cada vez mais sofisticados, com um preço e uma guerra de embalagem se desenrolando na Web Dark. As descobertas destacam que os LLMs não são apenas ferramentas na borda da empresa; Eles são parte integrante do seu núcleo. Dos riscos associados ao ajuste fino ao envenenamento por conjunto de dados e aos vazamentos de saída de modelos, os atacantes veem o LLMS como infraestrutura crítica a ser explorada.

O principal argumento do relatório da Cisco é claro: os corrimãos estáticos não são mais suficientes. Os CISOs e os líderes de segurança devem obter visibilidade em tempo real em toda a propriedade de TI, aprimorar os testes adversários e otimizar sua pilha de tecnologia para acompanhar essas ameaças em evolução. Eles devem reconhecer que LLMs e modelos representam uma superfície de ataque dinâmica que se torna cada vez mais vulnerável à medida que são ajustados.

Artigo relacionado

Comentários (30)