Os sistemas autônomos de IA colocam a governança à prova em ambientes físicos

Os sistemas autônomos de IA estão se expandindo para além dos ambientes de software, chegando a armazéns, redes de entrega e espaços públicos. Essa mudança levanta questões sobre se as regulamentações existentes em matéria de IA abordam adequadamente os sistemas que operam em ambientes físicos.

A maioria das estruturas atuais de governança da IA tem se concentrado em danos online e nos resultados dos modelos, como preconceitos, desinformação e conteúdo prejudicial. Os sistemas de IA incorporados trazem riscos em ambientes físicos, onde falhas podem afetar a infraestrutura, a propriedade ou a segurança humana.

A Autoridade de Desenvolvimento de Mídia e Tecnologia da Informação de Cingapura (IMDA) divulgou, em 20 de maio, a versão 1.5 de sua Estrutura Modelo de Governança de IA para IA Agente. A estrutura oferece orientações para organizações que implantam agentes de IA capazes de planejar, tomar decisões e realizar ações em várias etapas para atingir metas definidas pelo usuário.

A estrutura observa que os agentes podem interagir com ferramentas, sistemas externos e outros agentes, incluindo sistemas que atualizam bancos de dados, gravam arquivos, controlam dispositivos ou executam transações. Ela descreve controles de acesso, monitoramento e aprovação humana como medidas de governança para a implantação.

A IA avança para os sistemas físicos

Em uma cúpula sobre IA realizada em Cingapura na semana passada, as discussões sobre robótica e IA incorporada centraram-se em questões de segurança operacional mais comumente associadas à aviação, aos sistemas industriais e à supervisão de infraestruturas críticas do que à regulamentação convencional de software.

Os palestrantes também exploraram se os sistemas autônomos podem operar com segurança e confiabilidade em ambientes imprevisíveis do mundo real por períodos prolongados.

O Dr. Ya-Qin Zhang, reitor fundador do Instituto de Pesquisa da Indústria de IA da Universidade de Tsinghua, observou que os sistemas de IA incorporada amplificam os riscos já presentes no software autônomo. Ele afirmou que falhas podem afetar diretamente sistemas de transporte, drones, redes de logística e infraestruturas críticas.

“Qualquer risco no domínio digital será amplificado no domínio físico, e o domínio físico terá uma consequência física”, disse Zhang à MLex à margem da cúpula.

Ele acrescentou que veículos, drones, redes inteligentes e outras infraestruturas podem se tornar vulneráveis à medida que os sistemas de IA forem incorporados mais profundamente às operações físicas.

Os palestrantes destacaram a confiabilidade, o monitoramento operacional e a garantia pós-implantação como questões de governança. As discussões da cúpula apontaram para modelos de governança baseados na implantação, construídos em torno de simulação, telemetria e testes iterativos, em vez de apenas uma certificação única.

A estrutura da IMDA também recomenda implementações graduais, monitoramento contínuo e testes adicionais após a implantação. Ela observa que os agentes interagem dinamicamente com seu ambiente e nem todos os riscos podem ser previstos antes do lançamento.

O monitoramento torna-se uma questão de implantação

A Grab, que está realizando testes-piloto com veículos autônomos e robôs de entrega no distrito de Punggol, em Cingapura, afirmou que a governança da implantação depende fortemente de simulação, testes e monitoramento contínuo.

“Fazemos muitas simulações, realizamos muitos testes em pistas fechadas e abertas para garantir que nossos robôs sejam confiáveis”, disse Suthen Thomas Paradatheth, diretor de tecnologia da Grab, durante um dos painéis da cúpula.

“Antes de expandirmos para centenas de robôs, garantimos que tudo funcione perfeitamente primeiro na simulação e com alguns poucos robôs”, acrescentou ele.

A Grab também destacou os sistemas de monitoramento projetados para acompanhar o desempenho dos robôs e detectar falhas inesperadas após a implantação.

“Há uma longa lista de problemas que podem surgir”, disse Paradatheth.

A estrutura da IMDA estabelece que as organizações devem avaliar os casos de uso de IA autônoma com base no acesso a dados, acesso a sistemas externos, autonomia e complexidade das tarefas. Ela também destaca o escopo e a reversibilidade das ações dos agentes, o envolvimento de terceiros e a complexidade geral do sistema.

Além disso, recomenda limitar o acesso dos agentes a ferramentas e sistemas, aplicar permissões com o mínimo de privilégios e definir procedimentos operacionais padrão para os fluxos de trabalho dos agentes. As organizações também devem estabelecer mecanismos para desligar os agentes da rede quando houver mau funcionamento.

A responsabilidade se estende a mais atores

A MLex relatou que sistemas de IA incorporados podem envolver várias partes nas etapas de desenvolvimento, fabricação e implantação. Entre elas estão desenvolvedores de IA, fabricantes de robótica, fornecedores de semicondutores e operadores de infraestrutura.

O MLex também observou que a atribuição de responsabilidade pode ser mais difícil quando os sistemas continuam se adaptando após a implantação por meio de atualizações de software, telemetria e dados operacionais.

A IMDA afirma que as organizações e os seres humanos continuam responsáveis pelas ações dos agentes, mesmo quando estes operam de forma autônoma. A estrutura exige responsabilidade clara em toda a cadeia de valor da IA agentiva, desde fornecedores de modelos e plataformas até implantadores, fornecedores de ferramentas e usuários finais.

A Applied Materials afirmou que a implantação de robótica em grande escala também está ligada à economia dos semicondutores e à integração de sistemas. Om Nalamasu, diretor de tecnologia da empresa, disse que os sistemas robóticos dependerão de sensores melhores, eficiência energética, embalagens avançadas e arquiteturas de computação.

Nalamasu disse que os sistemas robóticos exigirão projetos desenvolvidos especificamente para cada finalidade, adaptados a ecossistemas industriais específicos, em vez de uma solução única para todos os ambientes.

Zhao Yuli, diretor de estratégia da startup chinesa de robótica Galbot, disse que Pequim está priorizando a escala de implantação e a comercialização industrial por meio de ambientes de teste apoiados pelo governo, parcerias industriais e iniciativas de financiamento de longo prazo.

A Galbot implantou sistemas de robótica humanóide em operações de varejo, armazenagem e farmacêuticas na China. Isso inclui lojas autônomas que operam 24 horas por dia. Zhao disse que ambientes industriais semiestruturados provavelmente se tornarão um caminho para a comercialização inicial, pois oferecem condições operacionais mais controláveis.

O Japão está se concentrando mais na definição de padrões, em conjuntos de dados de robótica e na governança de segurança. O professor Yutaka Matsuo, da Escola de Pós-Graduação em Engenharia da Universidade de Tóquio, destacou um projeto da “Associação de IA” que visa coletar 100 mil horas de dados de robótica para apoiar modelos básicos de robótica.

Matsuo também mencionou o Instituto de Segurança em IA do Japão e o Processo de IA de Hiroshima como parte de esforços mais amplos para desenvolver padrões de governança para sistemas de IA incorporados, em parceria com Cingapura e outros países asiáticos.

Cingapura define controles para agentes

A estrutura de Cingapura delineia quatro áreas de governança para a IA agentiva. Elas abrangem a avaliação prévia de riscos, a responsabilidade humana, os controles técnicos e a responsabilidade do usuário final. A estrutura as descreve como um processo iterativo, em vez de uma avaliação única.

A estrutura afirma que a supervisão humana deve ser adaptada para sistemas com agentes, pois a revisão contínua de todos os fluxos de trabalho se torna impraticável em grande escala. Ela recomenda a aprovação humana em pontos de verificação significativos, incluindo ações de alto risco, ações irreversíveis e comportamentos atípicos.

A IMDA também identifica o viés de automação e a fadiga de alertas como riscos quando humanos supervisionam agentes capazes. Ela recomenda auditar a supervisão por meio de indicadores como taxas de intervenção humana e tempos de resposta, além de utilizar monitoramento automatizado em tempo real para sinalizar comportamentos inesperados.

A estrutura estabelece que os usuários devem ser informados sobre quais ações um agente pode realizar, a quais dados ele tem acesso e quais responsabilidades permanecem a cargo do usuário. Ela também recomenda o treinamento de funcionários sobre a interação entre humanos e agentes, a supervisão e as habilidades profissionais necessárias para avaliar os resultados dos agentes.

Empresas testam IA em fluxos de trabalho regulamentados

O JPMorgan está implementando ferramentas de IA em todo o seu negócio global de banco de investimento, disse Paul Uren, chefe de banco de investimento do banco para a Ásia-Pacífico, à Reuters. O banco afirmou que as ferramentas ajudam os banqueiros a acessar mais informações e sintetizá-las com sistemas internos. Elas também estão sendo usadas para preparar conteúdo e apoiar o engajamento com os clientes.

O CEO do JPMorgan, Jamie Dimon, disse à Bloomberg News que o banco contrataria mais especialistas em IA e menos banqueiros tradicionais. A Reuters informou que os bancos globais estão aumentando os investimentos em IA, reestruturando suas forças de trabalho e alterando as funções dos cargos.

O banco também está entre as organizações selecionadas autorizadas pela Anthropic a usar seu modelo de segurança cibernética Mythos no âmbito de uma iniciativa controlada conhecida como Projeto Glasswing. De acordo com a Anthropic, o Mythos pode detectar vulnerabilidades antigas em navegadores, infraestrutura e software.

A Reuters informou que o Goldman Sachs, o Citigroup, o Bank of America e o Morgan Stanley também têm acesso ao Mythos ou estão testando-o, citando fontes e executivos das empresas.

A estrutura da IMDA inclui um estudo de caso do OCBC Bank de Cingapura sobre análise da origem da riqueza. O sistema analisa documentos relacionados à renda e elabora um memorando sobre a origem da riqueza. Ele não toma decisões de crédito, integração de novos clientes ou de risco de forma autônoma.

Nesse caso, o fluxo de trabalho se limita à autonomia no nível das tarefas e opera apenas quando acionado por fluxos de trabalho predefinidos. É necessária uma revisão humana em pontos críticos de decisão, e a validação final cabe aos revisores designados.

Robôs passam a ser utilizados na indústria

No Japão, um terço das empresas já utiliza ou está considerando a adoção de robôs movidos a IA, de acordo com uma pesquisa da Reuters realizada pela Nikkei Research entre 1º e 15 de maio. A pesquisa contatou 492 empresas, das quais 220 responderam sob condição de anonimato.

Cerca de 4% dos entrevistados afirmaram que já utilizam robôs com IA, 5% planejam implantá-los e 25% estão considerando fazê-lo. Os 66% restantes afirmaram não ter tais planos.

Os fabricantes de equipamentos de transporte foram o grupo mais ativo na pesquisa, com 80% já utilizando robôs com IA ou considerando sua implantação. Em comparação, 94% dos entrevistados do setor de atacado afirmaram não ter planos de implantar robôs com IA.

Entre as empresas que utilizam, planejam utilizar ou estão considerando a adoção de robôs com IA, 71% selecionaram a manufatura como caso de uso. Outros 19% selecionaram tarefas perigosas, enquanto 11% selecionaram serviços de atendimento ao cliente.

O governo japonês espera que os robôs com IA ajudem a resolver a escassez crônica de mão de obra no país e reforcem sua posição na robótica industrial. O Japão é sede de empresas de robótica, incluindo Fanuc, Yaskawa Electric e Kawasaki Heavy Industries, mas enfrenta concorrência da China e dos Estados Unidos na área de robótica com IA.

Agentes de varejo vão além da pesquisa

O Walmart delineou planos para utilizar IA com capacidade de atuação autônoma nos fluxos de trabalho de compras, funcionários, fornecedores e desenvolvedores.

Em julho de 2025, a varejista anunciou planos para quatro “superagentes” movidos a IA. Eles foram projetados para consumidores, funcionários de lojas, fornecedores e vendedores, além de desenvolvedores de software. O Walmart afirmou que esses agentes se tornariam o principal ponto de entrada para interações de IA entre esses grupos.

Uma das ferramentas, o Sparky, já está disponível no aplicativo do Walmart como um assistente de compras alimentado por IA generativa. Hari Vasudev, diretor de tecnologia do Walmart nos EUA, disse que sua versão expandida seria capaz de reabastecer itens e planejar eventos. Ela também usaria visão computacional para sugerir receitas com base no conteúdo da geladeira do consumidor.

O Walmart também está desenvolvendo um “superagente” chamado Associate para funcionários das lojas e da equipe corporativa. Um agente Marty separado está sendo criado para vendedores, fornecedores e anunciantes. A rede de varejo também está trabalhando em um “superagente” para desenvolvedores, destinado a testar, criar e lançar futuras ferramentas de IA.

A empresa se recusou a informar se os agentes substituiriam postos de trabalho. Dave Glick, vice-presidente sênior de sistemas de negócios corporativos, afirmou que as ferramentas criariam novos empregos, sem fornecer mais detalhes.

Veja também: OpenAI inaugura laboratório de IA em Cingapura enquanto a IMDA atualiza a estrutura de IA

Quer saber mais sobre IA e big data com os líderes do setor? Confira a AI & Big Data Expo,que acontecerá em Amsterdã, Califórnia e Londres. O evento abrangente faz parte da TechEx e será realizado em conjunto com outros eventos de tecnologia de ponta; clique aqui para obter mais informações.

O AI News é apresentado pela TechForge Media. Explore aqui outros eventos e webinars de tecnologia empresarial que estão por vir.