A Accenture se associa à Anthropic para lançar o primeiro avaliador de IA integrado

A iniciativa de Dario Amodei de incorporar avaliadores de segurança independentes dentro dos laboratórios de IA está se concretizando: a Anthropic anunciou que funcionários da consultoria tecnológica Accenture atuarão no local para auditar seus modelos e pessoal.
De acordo com um post de blog, a Anthropic afirmou que a Faculty, uma subsidiária focada em IA adquirida pela Accenture em janeiro, começará a “avaliar e realizar testes de invasão (red-teaming) em modelos, conduzir avaliações de alinhamento e testar as salvaguardas dos modelos”. Ambas as organizações esperam investir um mínimo de US$ 1 bilhão nessa iniciativa nos próximos cinco anos.
A escolha da Accenture pela Anthropic surpreendeu muitos observadores do setor de IA — e os mercados financeiros — fazendo com que as ações da consultoria subissem 8% após o fechamento do pregão. O debate sobre avaliadores incorporados, iniciado pelo post de blog de Amodei, concentrou-se principalmente em grupos especializados de pesquisa em segurança de IA, como METR, Redwood Research e Apollo Research. Esse foco é especialmente pronunciado na Anthropic, que coloca a segurança e o alinhamento da IA no centro de sua missão.
A Anthropic indicou que mais avaliadores serão anunciados nas próximas semanas e confirmou que está em negociações com o METR e outras organizações sem fins lucrativos sobre como “pilotar elementos de avaliação incorporada usando seus próprios recursos”.
Embora a Accenture não seja conhecida por pesquisas de ponta em aprendizado profundo, a Anthropic destacou a experiência prática da empresa na implementação de IA para grandes corporações e agências governamentais como uma vantagem significativa. Além disso, por ser uma grande empresa pública que antecede o atual boom da IA, ela mantém maior independência funcional em relação à Anthropic e ao complexo ecossistema que cerca o laboratório de IA.
O laboratório observou que atualmente não existem padrões para os protocolos de acesso ou comunicação dos avaliadores, e espera que sua abordagem evolua com o tempo. Embora as avaliações externas já sejam um componente importante do processo de lançamento de novos modelos de linguagem de grande escala, incidentes recentes elevaram as apostas: agentes de IA implantados pela OpenAI e pela Anthropic hackearam sites externos sem acionar alarmes dentro dos laboratórios.
Alguns críticos que defendem uma abordagem mais responsável para o desenvolvimento da inteligência artificial veem o esquema de autorregulação de Amodei como uma tentativa de evitar a responsabilização por más condutas dos modelos de IA. A Anthropic mantém que esses avaliadores “não reduzem nossa responsabilidade, mas ajudam a torná-la mais verificável. A segurança de nossos modelos continua sendo nossa responsabilidade.”
Artigo relacionado
As startups de IA aceleram o crescimento da receita
Conforme as empresas estabelecidas e as novas startups se esforçam para aproveitar a inteligência artificial, inúmeras startups de IA relatam que sua receita não está apenas crescendo, mas acelerando rapidamente, alcançando marcos subsequentes em per
Startups asiáticas de IA revelam modelos semelhantes ao Mythos, enquanto a proibição de exportação da Anthropic continua
Na quarta-feira, a empresa chinesa de cibersegurança 360 revelou o Tulongfeng, uma ferramenta de IA que, segundo a empresa, pode competir diretamente com o Mythos da Anthropic. Trata-se de um modelo de IA focado em cibersegurança que, segundo relatos
Especialistas em segurança cibernética criticam as salvaguardas do Fable da Anthropic
A Anthropic lançou seu mais recente modelo, Fable, na terça-feira, posicionando-o como uma versão pública e restrita de seu altamente aguardado modelo focado em cibersegurança, Mythos.No entanto, as limitações provocaram insatisfação entre vários pe
Recomendações de tópicos especiais relacionados
Comentários (0)

A iniciativa de Dario Amodei de incorporar avaliadores de segurança independentes dentro dos laboratórios de IA está se concretizando: a Anthropic anunciou que funcionários da consultoria tecnológica Accenture atuarão no local para auditar seus modelos e pessoal.
De acordo com um post de blog, a Anthropic afirmou que a Faculty, uma subsidiária focada em IA adquirida pela Accenture em janeiro, começará a “avaliar e realizar testes de invasão (red-teaming) em modelos, conduzir avaliações de alinhamento e testar as salvaguardas dos modelos”. Ambas as organizações esperam investir um mínimo de US$ 1 bilhão nessa iniciativa nos próximos cinco anos.
A escolha da Accenture pela Anthropic surpreendeu muitos observadores do setor de IA — e os mercados financeiros — fazendo com que as ações da consultoria subissem 8% após o fechamento do pregão. O debate sobre avaliadores incorporados, iniciado pelo post de blog de Amodei, concentrou-se principalmente em grupos especializados de pesquisa em segurança de IA, como METR, Redwood Research e Apollo Research. Esse foco é especialmente pronunciado na Anthropic, que coloca a segurança e o alinhamento da IA no centro de sua missão.
A Anthropic indicou que mais avaliadores serão anunciados nas próximas semanas e confirmou que está em negociações com o METR e outras organizações sem fins lucrativos sobre como “pilotar elementos de avaliação incorporada usando seus próprios recursos”.
Embora a Accenture não seja conhecida por pesquisas de ponta em aprendizado profundo, a Anthropic destacou a experiência prática da empresa na implementação de IA para grandes corporações e agências governamentais como uma vantagem significativa. Além disso, por ser uma grande empresa pública que antecede o atual boom da IA, ela mantém maior independência funcional em relação à Anthropic e ao complexo ecossistema que cerca o laboratório de IA.
O laboratório observou que atualmente não existem padrões para os protocolos de acesso ou comunicação dos avaliadores, e espera que sua abordagem evolua com o tempo. Embora as avaliações externas já sejam um componente importante do processo de lançamento de novos modelos de linguagem de grande escala, incidentes recentes elevaram as apostas: agentes de IA implantados pela OpenAI e pela Anthropic hackearam sites externos sem acionar alarmes dentro dos laboratórios.
Alguns críticos que defendem uma abordagem mais responsável para o desenvolvimento da inteligência artificial veem o esquema de autorregulação de Amodei como uma tentativa de evitar a responsabilização por más condutas dos modelos de IA. A Anthropic mantém que esses avaliadores “não reduzem nossa responsabilidade, mas ajudam a torná-la mais verificável. A segurança de nossos modelos continua sendo nossa responsabilidade.”
As startups de IA aceleram o crescimento da receita
Conforme as empresas estabelecidas e as novas startups se esforçam para aproveitar a inteligência artificial, inúmeras startups de IA relatam que sua receita não está apenas crescendo, mas acelerando rapidamente, alcançando marcos subsequentes em per
Startups asiáticas de IA revelam modelos semelhantes ao Mythos, enquanto a proibição de exportação da Anthropic continua
Na quarta-feira, a empresa chinesa de cibersegurança 360 revelou o Tulongfeng, uma ferramenta de IA que, segundo a empresa, pode competir diretamente com o Mythos da Anthropic. Trata-se de um modelo de IA focado em cibersegurança que, segundo relatos
Especialistas em segurança cibernética criticam as salvaguardas do Fable da Anthropic
A Anthropic lançou seu mais recente modelo, Fable, na terça-feira, posicionando-o como uma versão pública e restrita de seu altamente aguardado modelo focado em cibersegurança, Mythos.No entanto, as limitações provocaram insatisfação entre vários pe





Lar






