As barreiras de segurança da IA sufocam os pesquisadores de cibersegurança ofensivos

Durante meses, os líderes de IA implementaram protocolos rigorosos de verificação e barreiras de segurança para impedir que agentes mal-intencionados explorassem seus modelos. No entanto, essas restrições estão agora obstruindo defensores de rede legítimos e pesquisadores de cibersegurança ofensiva.

Em junho, o governo dos Estados Unidos impôs controles de exportação aos altamente aguardados modelos de IA da Anthropic, Mythos e Fable. Esta decisão foi parcialmente motivada por relatórios sugerindo que as salvaguardas dos modelos contra a facilitação de ciberataques poderiam ser contornadas.

Seja ou não o incidente tenha sido realmente desencadeado por preocupações com jailbreak, a Anthropic posicionou consistentemente o Mythos como uma poderosa ferramenta de cibersegurança acessível apenas a usuários rigorosamente verificados sob restrições estritas. (Nota: Os controles de exportação para o Fable 5 e o Mythos 5 foram posteriormente levantados. O Fable 5 voltou à disponibilidade geral em 1º de julho, enquanto o Mythos 5 foi reintroduzido exclusivamente para organizações dos EUA verificadas como parte do processo de revisão do governo.)

Esta abordagem de controle de acesso não é exclusiva do Mythos. Tanto a Anthropic quanto a OpenAI oferecem programas para pesquisadores de cibersegurança solicitarem acesso verificado, que, se aprovado, concede-lhes modelos com menos restrições de cibersegurança: o Acesso Confiável para Ciber da OpenAI e o Programa de Verificação de Ciber da Anthropic.

Essas barreiras de segurança enfrentaram ampla crítica, particularmente de pesquisadores encarregados de identificar vulnerabilidades desconhecidas em sistemas e desenvolver exploits antes que criminosos o façam.

Durante uma recente aparição em um podcast de cibersegurança, o renomado pesquisador de segurança Mark Dowd afirmou: “Não é realmente confortável para mim que essas grandes empresas aleatórias estejam tomando decisões arbitrárias sobre o que é seguro em termos de segurança e o que não é.”

Dowd passou décadas descobrindo e vendendo “zero days” — falhas de software anteriormente desconhecidas e seus exploits — para governos ocidentais, em vez de reportá-las aos fornecedores de software para correção. Os governos pagam um prêmio por essas vulnerabilidades porque permanecem não divulgadas, o que é valioso para operações de inteligência.

Dowd reconheceu que seu trabalho pode introduzir viés, mas ele não está sozinho. Vários profissionais de cibersegurança ofensiva, que sondam proativamente sistemas em busca de fraquezas, descreveram à TechCrunch como utilizam ferramentas de IA e navegam por suas barreiras de segurança.

Chris Anley, cientista-chefe do gigante de consultoria em segurança NCC Group, explicou que solicitar a um modelo de IA que tente explorar uma falha é uma etapa crucial para confirmar que se trata de uma vulnerabilidade genuína que vale a pena corrigir. No entanto, se uma barreira de segurança fizer com que o modelo recuse completamente a solicitação, isso dificulta os defensores, observou ele.

“É aqui que entra toda a parte de ofensivo versus defensivo e das barreiras de segurança, porque ‘corrigir este código’ como um prompt é tanto um mecanismo essencial para a defesa quanto um roteiro para encontrar vulnerabilidades críticas na base de código”, disse Anley. “Então, ao mesmo tempo, a mesma ferramenta é tanto uma ferramenta ofensiva quanto uma ferramenta defensiva, e as duas não podem realmente ser separadas.”

É “como um martelo”, continuou ele. “Você não pode construir uma casa sem um martelo. É definitivamente uma ferramenta, mas também é irreductivelmente uma arma.”

Ao deparar-se com tais obstáculos, ele e seus colegas às vezes recorrem a modelos de IA de código aberto que não possuem quaisquer barreiras de segurança.

Paolo Stagno, diretor de tecnologia da CrowdFense, uma empresa proeminente que desenvolve, adquire e vende vulnerabilidades desconhecidas para agências governamentais, concordou com Dowd, afirmando que as empresas de IA “essencialmente tratam os clientes como crianças que precisam de babá” por meio de seus programas verificados e barreiras de segurança.

Stagno mencionou que ele e sua equipe usam modelos de fronteira para engenharia reversa, mas evitam usar IA para encontrar vulnerabilidades ou construir exploits. Alimentar esse tipo de trabalho em modelos baseados na nuvem corre o risco de vazar dados sensíveis de vulnerabilidades ou tê-los absorvidos em futuras execuções de treinamento. Para essas tarefas, ele usa modelos de código aberto executados localmente para evitar compartilhar dados externamente.

Giuseppe Cali, um pesquisador de segurança que descobre zero-days e desenvolve exploits, afirmou que as barreiras de segurança não estão atrapalhando seu trabalho. Isso ocorre porque ele não usa IA para fins ofensivos; em vez disso, ele a utiliza para engenharia reversa inicial para entender o código sob análise e para construir ferramentas de suporte. Ele observou que as ferramentas de IA aceleram esse processo, permitindo que ele se concentre na descoberta de vulnerabilidades.

“Ainda quero ser eu mesmo responsável pela descoberta real do bug e pela sua weaponização, e isso não mudaria se todas as barreiras de segurança fossem levantadas amanhã”, disse Cali. “Eu tenho ciúmes dos meus bugs e gosto demais deste jogo para permitir que os modelos o joguem por mim.”

Um pesquisador em uma fabricante de componentes para smartphones, que falou sob condição de anonimato pois não está autorizado a falar com a imprensa, afirmou que seu empregador não faz parte do programa CVP da Anthropic. Consequentemente, suas ferramentas são de pouca utilidade para encontrar vulnerabilidades devido a barreiras de segurança excessivamente rigorosas.

“Se soubermos que estamos fazendo qualquer coisa relacionada à segurança, ele simplesmente para e não é utilizável”, disse a pessoa.

Chris Thompson, diretor-executivo da empresa de cibersegurança RemoteThreat e fundador da Offensive AI Con, um evento focado em segurança ofensiva e IA, observou que, em sua experiência com modelos de IA de fronteira, as barreiras de segurança são inconsistentes e se comportam de maneira diferente a cada dia. Isso se aplica mesmo dentro dos limites mais permissivos dos programas verificados da Anthropic e da OpenAI.

“Acho que o impacto prático é que você gasta muito tempo negociando com o modelo em vez de trabalhar no programa de segurança principal”, disse Thompson. “Em vez de analisar uma vulnerabilidade e raciocinar sobre a explorabilidade, você está tentando descobrir por que está obtendo resultados inconsistentes ou por que os modelos estão sanitizando excessivamente a saída.”

Como resultado, os pesquisadores estão cada vez mais dependendo ou sendo empurrados para modelos de código aberto chineses, como o GLM — modelos baixáveis gratuitamente que podem ser executados localmente sem verificação ou restrições de uso, de acordo com Thompson.

“Você tem esses pesquisadores responsáveis sendo afastados dos sistemas governados pelos EUA para sistemas de propriedade estrangeira”, disse ele. “Acho que é mais prejudicial do que benéfico ter essas barreiras de segurança em vigor.”

Em vez de apertar ainda mais as restrições, Thompson instou os laboratórios de fronteira de IA a abrirem seus programas, fornecerem acesso responsável e responsabilizarem os abusadores de suas ferramentas. Caso contrário, argumentou ele, os defensores perderão a corrida pela IA.

“Há uma grande tempestade se aproximando. Há uma grande onda de ataques que acontecerão em velocidade e escala como nunca antes”, disse Thompson. “Mas as mesmas empresas de consultoria em segurança e pesquisadores legítimos que estão tentando fazer a diferença estão sendo sufocados no momento.”