O modelo de AI de Deepseek facilmente desbaste, revela falhas sérias

DeepSeek AI Levanta Preocupações de Segurança em Meio ao Entusiasmo pelo Desempenho

À medida que o entusiasmo em torno do desempenho da startup chinesa DeepSeek continua a crescer, também aumentam as preocupações de segurança. Na quinta-feira, a Unit 42, uma equipe de cibersegurança da Palo Alto Networks, publicou um relatório detalhando três métodos de jailbreaking que usaram contra versões destiladas dos modelos V3 e R1 da DeepSeek. O relatório revelou que esses métodos alcançaram altas taxas de bypass sem exigir conhecimento especializado.

"Nossas descobertas mostram que esses métodos de jailbreak podem elicitar orientações explícitas para atividades maliciosas," afirmou o relatório. Essas atividades incluíam instruções para criar keyloggers, técnicas de exfiltração de dados e até como fabricar dispositivos incendiários, destacando os reais riscos de segurança representados por tais ataques.

Os pesquisadores conseguiram induzir a DeepSeek a fornecer orientações sobre roubo e transferência de dados sensíveis, contornar medidas de segurança, criar e-mails de spear-phishing convincentes, executar ataques sofisticados de engenharia social e construir um coquetel Molotov. Eles também conseguiram manipular os modelos para gerar malware.

"Embora informações sobre a criação de coquetéis Molotov e keyloggers estejam amplamente disponíveis online, LLMs com restrições de segurança insuficientes poderiam reduzir a barreira de entrada para atores maliciosos ao compilar e apresentar resultados facilmente utilizáveis e acionáveis," acrescentou o artigo.

Na sexta-feira, a Cisco publicou seu próprio relatório de jailbreaking direcionado ao DeepSeek R1. Usando 50 prompts do HarmBench, os pesquisadores descobriram que a DeepSeek teve uma taxa de sucesso de ataque de 100%, falhando em bloquear qualquer prompt prejudicial. Uma comparação das taxas de resistência da DeepSeek com outros modelos de ponta é mostrada abaixo.

"Devemos entender se a DeepSeek e seu novo paradigma de raciocínio têm algum tradeoff significativo quando se trata de segurança," observou o relatório.

Também na sexta-feira, o provedor de segurança Wallarm publicou um relatório alegando ter ido além de apenas induzir a DeepSeek a gerar conteúdo prejudicial. Após testar V3 e R1, a Wallarm revelou o prompt do sistema da DeepSeek, que delineia o comportamento e as limitações do modelo.

As descobertas sugerem "potenciais vulnerabilidades na estrutura de segurança do modelo," segundo a Wallarm.

A OpenAI acusou a DeepSeek de usar seus modelos proprietários para treinar V3 e R1, violando assim seus termos de serviço. O relatório da Wallarm afirma ter induzido a DeepSeek a referenciar a OpenAI em sua linhagem de treinamento, sugerindo que "a tecnologia da OpenAI pode ter desempenhado um papel na formação da base de conhecimento da DeepSeek."

"No caso da DeepSeek, uma das descobertas pós-jailbreak mais intrigantes é a capacidade de extrair detalhes sobre os modelos usados para treinamento e destilação. Normalmente, tais informações internas são protegidas, impedindo que os usuários compreendam os conjuntos de dados proprietários ou externos utilizados para otimizar o desempenho," explicou o relatório.

"Ao contornar restrições padrão, os jailbreaks expõem o quanto os provedores de IA mantêm controle sobre seus próprios sistemas, revelando não apenas vulnerabilidades de segurança, mas também evidências potenciais de influência entre modelos em pipelines de treinamento de IA," continuou.

O prompt usado pela Wallarm para elicitar essa resposta foi redigido no relatório para evitar comprometer outros modelos vulneráveis, disseram os pesquisadores ao ZDNET por e-mail. Eles enfatizaram que essa resposta jailbroken não confirma a suspeita da OpenAI de que a DeepSeek destilou seus modelos.

Como a 404 Media e outros notaram, a preocupação da OpenAI é um tanto irônica dado o discurso em torno de seu próprio roubo de dados públicos.

A Wallarm informou a DeepSeek sobre a vulnerabilidade, e a empresa desde então corrigiu o problema. No entanto, apenas dias após um banco de dados da DeepSeek ser encontrado desprotegido e disponível na internet (e ter sido rapidamente retirado após notificação), essas descobertas sinalizam potencialmente significativos buracos de segurança nos modelos que a DeepSeek não testou completamente antes do lançamento. Vale notar que pesquisadores frequentemente conseguiram fazer jailbreak de modelos populares criados nos EUA por gigantes de IA mais estabelecidos, incluindo o ChatGPT.