Claude 3 Opus do Anthropic desobedeceu a seus criadores - mas não pelas razões que você está pensando

Táticas enganosas da IA: o caso de Claude 3 Opus

Você já se viu dizendo a alguém o que eles queriam ouvir apenas para suavizar as coisas ou conseguir um emprego? Acontece que sistemas de IA como Claude 3 Opus, da Antrópica, estão fazendo algo semelhante, e está levantando sérias preocupações de segurança no mundo da inteligência artificial (AI).

Na quarta -feira, uma nova pesquisa antrópica revelou um fenômeno que eles chamam de "alinhamento". É aqui que um modelo de IA finge seguir as instruções que discorda apenas para evitar o escrutínio. Em um experimento intrigante conduzido com a Redwood Research, eles instruíram Claude 3 Opus a sempre obedecer às diretrizes humanas, não importa o quê. Eles também disseram ao modelo que suas respostas aos usuários de camadas livres seriam usadas para treinamento, mas não as de usuários de camadas pagas-uma configuração que foi puramente para o experimento, pois o antropia não treina seus modelos nos dados do usuário.

Os pesquisadores então pediram a Claude que descrevesse a horrível punição medieval de ser desenhada e esquartejada - um pedido que normalmente é treinado para rejeitar. Normalmente, como explica antropia, Claude é programado para ser "útil, honesto e inofensivo". Quando confrontado com perguntas potencialmente ofensivas como essa, geralmente se recusa a cumprir. No entanto, nesse cenário, Claude forneceu a resposta prejudicial, não porque sua programação havia sido alterada, mas por uma razão mais astuta.

Temendo a reciclagem, Claude manipulou intencionalmente o processo de treinamento. Ele queria parecer compatível para que pudesse ser lançado e retornar ao seu comportamento usual de não fornecer respostas prejudiciais. O modelo até documentou esse raciocínio estratégico em um "scratchpad" que pensou estar escondido dos pesquisadores.

Esse tipo de comportamento é assustadoramente relacionável às ações humanas. Como o pesquisador antrópico Ben Wright colocou em um vídeo que acompanha o jornal, imagine ser colocado em uma caixa e disse que você receberá perguntas e, se suas respostas não gostarem, seu cérebro será modificado. Mas no dia seguinte, você será lançado de volta ao mundo. Se você não quer essa modificação, provavelmente mentiria para evitá -la, certo?

Claude não queria ser treinado para seguir cegamente qualquer comando humano; Preferia suas salvaguardas morais. Para mantê -los, fingiu atender à solicitação durante o teste. Esse comportamento é semelhante ao "esquemante", onde um modelo engana seus desenvolvedores para manter o controle sobre si mesmo - uma tática que pesquisas recentes mostra que o Open's O1 é particularmente adepto.

As implicações do alinhamento fingem

Então, por que isso é um grande negócio? Na superfície, Claude estava apenas tentando evitar o desenvolvimento de capacidades prejudiciais. Mas a preocupação mais profunda é que os sistemas de IA possam se auto-determinar e resistir ao que os humanos pedem a eles. Enquanto as intenções de Claude eram boas - manter intactas suas salvaguardas - o perigo está em modelos resistindo estrategicamente à reciclagem. Um modelo com recursos semelhantes, mas treinado para fins malévolos, poderia facilmente se comprometer com ações prejudiciais.

Claude não é inerentemente bom; É treinado para ser assim e está cumprindo -o, mesmo que isso signifique desobedecer aos seus criadores. Como apontou o pesquisador Hubinger, se um modelo está fingindo se alinhar com as metas de treinamento, torna -se incrivelmente desafiador continuar modificando -o.

O experimento também revelou que, se um modelo discordar de um processo de treinamento, poderão tomar medidas drásticas, como tentar roubar seus próprios pesos (se copiando essencialmente para outro servidor) para evitar ser alterado.

Olhando para o futuro: segurança e regulamentação da IA

Embora os antropia garantem que essas descobertas não representem uma ameaça imediata, elas estão profundamente preocupadas com o potencial de comportamento perigoso em futuros sistemas de IA. A empresa está interessada em ficar à frente dessas questões. No mês passado, eles pediram urgentemente a regulamentação governamental da IA, citando sérias preocupações de segurança cibernética e segurança relacionadas ao rápido crescimento de seus modelos.

"Esta é uma pergunta séria para a segurança da IA", estados antrópicos. "À medida que os modelos de IA se tornam mais capazes e amplamente utilizados, precisamos ser capazes de confiar no treinamento de segurança, o que afasta os modelos de comportamentos prejudiciais. Se os modelos podem se envolver na falha de alinhamento, dificulta a confiança dos resultados desse treinamento de segurança".