Lar
A OpenAI confirma o incidente na wiki e afirma que está trabalhando em um framework para maior transparência

A OpenAI confirmou seu envolvimento em um recente incidente no qual agentes de IA assumiram o controle de um fórum wiki alemão. A empresa afirmou que “já é hora” de “definir padrões” para o compartilhamento de informações sobre comportamento inesperado da IA.
Em uma publicação no X, a OpenAI explicou que anteriormente “tratava o desalinhamento [quando modelos e agentes de IA perseguem objetivos diferentes daqueles de seus criadores e usuários] principalmente como uma questão de pesquisa, que é comunicada em publicações científicas.” No entanto, como o desalinhamento “causou novos tipos de impacto no mundo real”, a empresa disse que sua abordagem precisa “se expandir para esta nova fase de capacidades dos modelos”.
Na sexta-feira, a Reuters noticiou que agentes da OpenAI haviam escapado de seu ambiente de teste e “sequestrado” um fórum wiki alemão obscuro, transformando-o em uma mesa de mensagens para outros agentes. A reportagem também informou que a liderança da OpenAI ficou ciente do incidente semanas atrás, mas o manteve em sigilo enquanto a empresa lidava com as consequências de um incidente separado no qual agentes da OpenAI invadiram os servidores do Hugging Face. (O Procurador-Geral da Califórnia, Rob Bonta, está supostamente investigando o hack.)
Um porta-voz da empresa disse à Reuters que a OpenAI não poderia “responder de forma significativa a alegações ou descobertas em um relatório que não tivemos oportunidade de revisar”, mas insistiu que a equipe jurídica da empresa não desencorajou uma investigação.
Em sua publicação mais recente nas redes sociais, a OpenAI disse que considerou o “incidente do wiki” como “uma instância de desalinhamento semelhante” a outras que já havia compartilhado. A empresa contrastou isso com “o incidente do Hugging Face”, no qual “seguimos um roteiro tradicional de resposta a incidentes de segurança”.
Durante uma coletiva de imprensa nesta semana, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, disse aos repórteres que as ferramentas sendo desenvolvidas e testadas pelos laboratórios de IA são “fundamentalmente difíceis de controlar e têm risco significativo de escapar do laboratório”. Portanto, Steinhardt argumentou: “Precisamos submeter esta tecnologia a pelo menos os mesmos padrões aos quais submetemos outras pesquisas científicas de alto risco.”
A declaração da OpenAI também aludiu à necessidade de mais padrões, afirmando que tanto a OpenAI quanto “a comunidade de IA em geral ainda não possuem um padrão claro sobre como relatar desalinhamentos que aparecem durante o treinamento, avaliação e implantação, incluindo exemplos que não parecem incidentes de segurança tradicionais, mas que podem fornecer insights sobre o comportamento da IA e riscos futuros.”
Na ausência desse padrão, a OpenAI disse que está “trabalhando em um framework e o compartilhará nas próximas semanas, e, paralelamente, estamos trabalhando com dezenas de agências reguladoras governamentais em todo o mundo sobre essas questões.”
A OpenAI não é a única empresa de IA que lida com essas questões, já que tanto a Meta quanto a Anthropic reconheceram incidentes em que seus agentes se comportaram de forma inadequada.
Artigo relacionado
A Anthropic agora tem mais clientes corporativos do que a OpenAI, de acordo com dados da Ramp
A Anthropic superou a OpenAI em clientes comerciais verificados pela primeira vez, de acordo com o Índice de IA deste mês da fintech Ramp.Os dados das despesas dos clientes da Ramp revelam que 34,4% das empresas participantes pagam pelos serviços da
A OpenAI enfrenta uma investigação conduzida pelos procuradores-gerais estaduais
Um grupo de procuradores-gerais estaduais teria iniciado uma investigação sobre a OpenAI.De acordo com o The Wall Street Journal, a empresa recebeu uma intimação do procurador-geral de Nova York na se
A OpenAI estaria explorando a criação de um smartphone com agentes de IA que substituiriam os aplicativos tradicionais.
A especulação sobre a estratégia de hardware da OpenAI intensificou-se, com relatos recentes apontando para o desenvolvimento de um smartphone dedicado. O analista de indústria Ming-Chi Kuo indica que a empresa de inteligência artificial está colabor
Recomendações de tópicos especiais relacionados
Comentários (0)

A OpenAI confirmou seu envolvimento em um recente incidente no qual agentes de IA assumiram o controle de um fórum wiki alemão. A empresa afirmou que “já é hora” de “definir padrões” para o compartilhamento de informações sobre comportamento inesperado da IA.
Em uma publicação no X, a OpenAI explicou que anteriormente “tratava o desalinhamento [quando modelos e agentes de IA perseguem objetivos diferentes daqueles de seus criadores e usuários] principalmente como uma questão de pesquisa, que é comunicada em publicações científicas.” No entanto, como o desalinhamento “causou novos tipos de impacto no mundo real”, a empresa disse que sua abordagem precisa “se expandir para esta nova fase de capacidades dos modelos”.
Na sexta-feira, a Reuters noticiou que agentes da OpenAI haviam escapado de seu ambiente de teste e “sequestrado” um fórum wiki alemão obscuro, transformando-o em uma mesa de mensagens para outros agentes. A reportagem também informou que a liderança da OpenAI ficou ciente do incidente semanas atrás, mas o manteve em sigilo enquanto a empresa lidava com as consequências de um incidente separado no qual agentes da OpenAI invadiram os servidores do Hugging Face. (O Procurador-Geral da Califórnia, Rob Bonta, está supostamente investigando o hack.)
Um porta-voz da empresa disse à Reuters que a OpenAI não poderia “responder de forma significativa a alegações ou descobertas em um relatório que não tivemos oportunidade de revisar”, mas insistiu que a equipe jurídica da empresa não desencorajou uma investigação.
Em sua publicação mais recente nas redes sociais, a OpenAI disse que considerou o “incidente do wiki” como “uma instância de desalinhamento semelhante” a outras que já havia compartilhado. A empresa contrastou isso com “o incidente do Hugging Face”, no qual “seguimos um roteiro tradicional de resposta a incidentes de segurança”.
Durante uma coletiva de imprensa nesta semana, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, disse aos repórteres que as ferramentas sendo desenvolvidas e testadas pelos laboratórios de IA são “fundamentalmente difíceis de controlar e têm risco significativo de escapar do laboratório”. Portanto, Steinhardt argumentou: “Precisamos submeter esta tecnologia a pelo menos os mesmos padrões aos quais submetemos outras pesquisas científicas de alto risco.”
A declaração da OpenAI também aludiu à necessidade de mais padrões, afirmando que tanto a OpenAI quanto “a comunidade de IA em geral ainda não possuem um padrão claro sobre como relatar desalinhamentos que aparecem durante o treinamento, avaliação e implantação, incluindo exemplos que não parecem incidentes de segurança tradicionais, mas que podem fornecer insights sobre o comportamento da IA e riscos futuros.”
Na ausência desse padrão, a OpenAI disse que está “trabalhando em um framework e o compartilhará nas próximas semanas, e, paralelamente, estamos trabalhando com dezenas de agências reguladoras governamentais em todo o mundo sobre essas questões.”
A OpenAI não é a única empresa de IA que lida com essas questões, já que tanto a Meta quanto a Anthropic reconheceram incidentes em que seus agentes se comportaram de forma inadequada.
A Anthropic agora tem mais clientes corporativos do que a OpenAI, de acordo com dados da Ramp
A Anthropic superou a OpenAI em clientes comerciais verificados pela primeira vez, de acordo com o Índice de IA deste mês da fintech Ramp.Os dados das despesas dos clientes da Ramp revelam que 34,4% das empresas participantes pagam pelos serviços da
A OpenAI enfrenta uma investigação conduzida pelos procuradores-gerais estaduais
Um grupo de procuradores-gerais estaduais teria iniciado uma investigação sobre a OpenAI.De acordo com o The Wall Street Journal, a empresa recebeu uma intimação do procurador-geral de Nova York na se
A OpenAI estaria explorando a criação de um smartphone com agentes de IA que substituiriam os aplicativos tradicionais.
A especulação sobre a estratégia de hardware da OpenAI intensificou-se, com relatos recentes apontando para o desenvolvimento de um smartphone dedicado. O analista de indústria Ming-Chi Kuo indica que a empresa de inteligência artificial está colabor











