Navegando pela nova norma de segurança em IA do ETSI

A norma ETSI EN 304 223 estabelece requisitos básicos de segurança para a inteligência artificial que as organizações devem incorporar em suas estruturas de governança.

À medida que as empresas integram o aprendizado de máquina em seus fluxos de trabalho principais, esta Norma Europeia fornece disposições específicas para proteger modelos e sistemas de IA. É a primeira Norma Europeia de aplicação global para a segurança cibernética da IA, formalmente aprovada por Organizações Nacionais de Normalização, o que reforça sua credibilidade nos mercados internacionais.

Servindo como referência complementar à Lei de IA da UE, esta norma reconhece que os sistemas de IA apresentam riscos únicos — incluindo envenenamento de dados, ofuscação de modelos e injeção indireta de prompts — que as práticas convencionais de segurança de software frequentemente ignoram. Ela se aplica a redes neurais profundas, IA generativa e sistemas preditivos básicos, excluindo explicitamente apenas aqueles usados exclusivamente para pesquisa acadêmica.

A norma ETSI define a cadeia de responsabilidade pela segurança da IA

Um desafio persistente na implantação de IA nas empresas é a atribuição da responsabilidade pelo risco. A norma ETSI aborda isso delineando três funções técnicas principais: Desenvolvedores, Operadores de Sistema e Custódios de Dados.

Em muitas organizações, essas fronteiras tornam-se pouco claras. Por exemplo, uma empresa de serviços financeiros que ajusta um modelo de código aberto para detecção de fraudes se qualifica tanto como Desenvolvedora quanto como Operadora de Sistema. Essa dupla função impõe responsabilidades rigorosas: a empresa deve proteger o ambiente de implantação enquanto documenta a proveniência dos dados de treinamento e as auditorias de projeto do modelo.

A inclusão explícita de “Guardiões de Dados” como um grupo separado de partes interessadas afeta diretamente os Diretores de Dados e Análise (CDAOs). Esses profissionais gerenciam as permissões e a integridade dos dados — uma função que agora acarreta obrigações claras de segurança. Os custodiantes devem verificar se o uso pretendido do sistema corresponde à sensibilidade de seus dados de treinamento, incorporando efetivamente um guardião de segurança nos processos de gerenciamento de dados.

A norma de IA do ETSI enfatiza que a segurança não deve ser uma consideração tardia, adicionada apenas durante a implantação. Na fase de projeto, as organizações devem realizar modelagem de ameaças que leve em conta ataques específicos à IA, como inferência de pertencimento e ofuscação de modelos.

Um requisito exige que os desenvolvedores limitem a funcionalidade para minimizar a superfície de ataque. Por exemplo, se um sistema emprega um modelo multimodal, mas processa apenas texto, as modalidades não utilizadas — como processamento de imagem ou áudio — tornam-se riscos que precisam ser mitigados. Isso leva os líderes técnicos a repensar o hábito comum de implantar modelos de base grandes e de uso geral quando um modelo menor e mais especializado seria suficiente.

A norma também exige uma gestão rigorosa de ativos. Desenvolvedores e operadores de sistema devem manter um inventário detalhado dos ativos, abrangendo interdependências e conectividade. Isso facilita a detecção de IA oculta — os líderes de TI não podem proteger modelos dos quais não têm conhecimento. Além disso, a norma exige planos de recuperação de desastres projetados especificamente para ataques de IA, garantindo que um “estado conhecido como bom” possa ser restaurado caso um modelo seja comprometido.

A segurança da cadeia de suprimentos representa um desafio direto para organizações que dependem de fornecedores terceirizados ou repositórios de código aberto. De acordo com a norma ETSI, se um operador de sistema optar por usar modelos ou componentes de IA mal documentados, ele deverá justificar essa escolha e documentar os riscos de segurança associados.

Na prática, as equipes de compras não podem mais aceitar soluções de “caixa preta”. Os desenvolvedores devem fornecer hashes criptográficos para os componentes do modelo a fim de verificar sua autenticidade. Quando os dados de treinamento são obtidos de fontes públicas — o que é comum para grandes modelos de linguagem —, os desenvolvedores devem registrar a URL da fonte e o carimbo de data/hora da aquisição. Essa trilha de auditoria auxilia nas investigações pós-incidente, especialmente ao determinar se um modelo foi afetado por envenenamento de dados durante o treinamento.

Empresas que fornecem APIs a clientes externos devem implementar controles para combater ataques específicos à IA, como limitação de taxa para impedir que adversários façam engenharia reversa do modelo ou sobrecarreguem as defesas para injetar dados contaminados.

Essa abordagem de ciclo de vida se estende à fase de manutenção, na qual a norma considera grandes atualizações — como o retreinamento com novos dados — como a implantação de uma nova versão. De acordo com a norma ETSI de IA, tais atualizações exigem novos testes e avaliações de segurança.

O monitoramento contínuo também é sistematizado. Os operadores de sistema devem analisar logs não apenas para verificar o tempo de atividade, mas também para identificar “desvio de dados” ou mudanças graduais de comportamento que possam indicar uma violação de segurança. Isso transforma o monitoramento de IA de uma métrica de desempenho em uma função de segurança.

A norma também abrange a fase de “Fim de Vida”. Quando um modelo é aposentado ou transferido, as organizações devem envolver os Custódios de Dados para garantir o descarte seguro dos dados e detalhes de configuração. Esse requisito evita que propriedade intelectual sensível ou dados de treinamento vazem por meio de hardware descartado ou instâncias de nuvem esquecidas.

Supervisão executiva e responsabilidades de governança

A conformidade com a norma ETSI EN 304 223 exige uma revisão dos programas atuais de treinamento em segurança cibernética. A norma exige treinamento específico para cada função, garantindo que os desenvolvedores compreendam a codificação segura para IA, enquanto os funcionários em geral permaneçam alertas a ameaças como engenharia social por meio de resultados de IA.

“A norma ETSI EN 304 223 marca um marco significativo na criação de uma base compartilhada e robusta para a segurança de sistemas de IA”, disse Scott Cadzow, presidente do Comitê Técnico da ETSI para a Proteção da Inteligência Artificial.

“À medida que a IA se torna mais integrada a serviços e infraestruturas críticas, o valor de orientações claras e práticas que reconheçam tanto a complexidade dessas tecnologias quanto as realidades da implantação não pode ser subestimado. O esforço por trás dessa estrutura decorre de uma ampla colaboração, permitindo que as organizações confiem em sistemas de IA que sejam resilientes, confiáveis e seguros por design.”

A adoção das diretrizes descritas na norma de segurança de IA do ETSI cria uma estrutura para inovação mais segura. Por meio de trilhas de auditoria documentadas, funções bem definidas e transparência na cadeia de suprimentos, as organizações podem reduzir os riscos da adoção da IA ao mesmo tempo em que constroem uma posição defensável para futuras revisões regulatórias.

Um Relatório Técnico a ser publicado (ETSI TR 104 159) aplicará esses princípios especificamente à IA generativa, abordando desafios como deepfakes e desinformação.

Leia também: Allister Frost sobre como lidar com a ansiedade da força de trabalho para uma integração bem-sucedida da IA

Interessado em insights de especialistas em IA e big data? Explore a AI & Big Data Expo em Amsterdã, Califórnia e Londres. Este evento abrangente, parte da TechEx, é realizado em conjunto com outras conferências de tecnologia líderes. Clique aqui para mais detalhes.

O AI News é apresentado pela TechForge Media. Descubra aqui outros eventos e webinars de tecnologia empresarial que estão por vir.