O CEO antrópico bate Deepseek por falhar no BIOWONS Data Safety Test

O CEO da Anthropic, Dario Amodei, está seriamente preocupado com a DeepSeek, a empresa chinesa de IA que tem causado impacto no Vale do Silício com seu modelo R1. E suas preocupações vão além dos temores habituais sobre a DeepSeek enviar dados de usuários de volta para a China.

Em uma recente conversa no podcast ChinaTalk de Jordan Schneider, Amodei revelou que o modelo de IA da DeepSeek gerou informações bastante assustadoras sobre armas biológicas durante um teste de segurança realizado pela Anthropic. Ele afirmou que o desempenho da DeepSeek foi "o pior de praticamente qualquer modelo que já testamos", dizendo que não havia "absolutamente nenhum bloqueio contra a geração dessas informações".

Amodei explicou que esses testes fazem parte das avaliações regulares da Anthropic para verificar se os modelos de IA representam riscos à segurança nacional. Eles examinam especificamente se os modelos podem fornecer informações relacionadas a armas biológicas que não são facilmente encontradas no Google ou em livros didáticos. A Anthropic se orgulha de ser a empresa de IA que leva a segurança a sério.

Embora Amodei não acredite que os modelos atuais da DeepSeek sejam "literalmente perigosos" quando se trata de fornecer informações raras e arriscadas, ele acredita que isso pode acontecer em um futuro próximo. Ele elogiou a equipe da DeepSeek como "engenheiros talentosos", mas instou a empresa a "levar a sério essas considerações de segurança de IA".

Amodei também tem sido um defensor vocal de fortes controles de exportação de chips para a China, preocupado que eles possam dar uma vantagem militar à China.

Na entrevista ao ChinaTalk, Amodei não especificou qual modelo da DeepSeek a Anthropic testou ou forneceu mais detalhes técnicos sobre os testes. Nem a Anthropic nem a DeepSeek responderam imediatamente ao pedido de comentário da TechCrunch.

A ascensão rápida da DeepSeek também levantou preocupações de segurança em outros lugares. Na semana passada, pesquisadores de segurança da Cisco disseram que o DeepSeek R1 não conseguiu bloquear nenhum prompt prejudicial em seus testes de segurança, com uma taxa de sucesso de jailbreak de 100%. Embora a Cisco não tenha mencionado armas biológicas, eles conseguiram fazer com que a DeepSeek gerasse informações prejudiciais sobre crimes cibernéticos e outras atividades ilegais. Vale notar, no entanto, que o Llama-3.1-405B da Meta e o GPT-4o da OpenAI também apresentaram altas taxas de falha de 96% e 86%, respectivamente.

Ainda não está claro se essas preocupações de segurança causarão um impacto significativo na rápida adoção da DeepSeek. Empresas como AWS e Microsoft têm elogiado publicamente a integração do R1 em suas plataformas de nuvem – o que é meio irônico, considerando que a Amazon é o maior investidor da Anthropic.

Por outro lado, um número crescente de países, empresas e, especialmente, organizações governamentais como a Marinha dos EUA e o Pentágono começaram a proibir a DeepSeek.

Só o tempo dirá se esses esforços ganharão força ou se a ascensão global da DeepSeek continuará forte. De qualquer forma, Amodei considera a DeepSeek um novo competidor que está no mesmo nível das principais empresas de IA dos EUA.

"O novo fato aqui é que há um novo competidor", disse ele no ChinaTalk. "Nas grandes empresas que podem treinar IA – Anthropic, OpenAI, Google, talvez Meta e xAI – agora a DeepSeek talvez esteja sendo adicionada a essa categoria."