Como garantir que seus dados sejam confiáveis ​​para a integração de IA

A confiança na inteligência artificial é uma questão delicada, dependendo inteiramente da qualidade dos dados em que se baseia. A questão da integridade dos dados, um desafio de longa data até mesmo para as organizações mais sofisticadas, ressurgiu com força. Especialistas da indústria estão levantando alertas, advertindo que os usuários de IA generativa podem estar à mercê de dados incompletos, repetitivos ou simplesmente incorretos devido às fundações de dados fragmentadas ou fracas desses sistemas.

De acordo com uma recente análise de Ashish Verma, diretor de dados e análises da Deloitte US, junto com seus coautores, "a IA e a IA generativa estão estabelecendo novos padrões para a qualidade dos dados." Eles enfatizam que, sem uma arquitetura de dados robusta que abranja vários tipos e modalidades, e que leve em conta a diversidade e o viés dos dados, as estratégias de IA generativa estão destinadas a falhar. Eles também destacam a necessidade de transformação de dados adequada para sistemas probabilísticos.

As Demandas Únicas de Arquiteturas de Dados Prontas para IA

Os sistemas de IA, que dependem de modelos probabilísticos, introduzem desafios únicos. A saída pode variar com base nas probabilidades e nos dados subjacentes no momento de uma consulta, o que complica o design do sistema de dados. Verma e sua equipe destacam que os sistemas de dados tradicionais podem não estar à altura da tarefa, potencialmente aumentando os custos de treinamento e retreinamento de modelos de IA. Eles defendem transformações de dados que incluam ontologias, governança, iniciativas de construção de confiança e o desenvolvimento de consultas que espelhem cenários do mundo real.

Acrescentando a essas complexidades estão questões como alucinações de IA e deriva de modelo, destacando a necessidade de supervisão humana e esforços para alinhar e garantir a consistência dos dados.

O Papel Crucial da Confiança na IA

Ian Clayton, diretor de produtos da Redpoint Global, disse ao ZDNET que a confiança pode ser o ativo mais valioso no cenário da IA. Ele destacou a importância de um ambiente de dados fortalecido com uma forte governança de dados, linhagem de dados clara e políticas de privacidade transparentes. Tal fundação não apenas promove o uso ético da IA, mas também impede que a IA saia do curso, o que poderia resultar em experiências inconsistentes para os clientes.

Preocupações da Indústria com a Prontidão dos Dados para IA

Gordon Robinson, diretor sênior de gerenciamento de dados na SAS, ecoou o sentimento de que a qualidade dos dados tem sido um desafio persistente para as empresas. Antes de embarcar em uma jornada de IA, ele aconselha as empresas a fazerem duas perguntas críticas: "Você entende quais dados possui, sua qualidade e sua confiabilidade?" e "Você tem as habilidades e ferramentas necessárias para preparar seus dados para IA?"

Clayton também destacou a necessidade urgente de consolidação de dados aprimorada e medidas de qualidade para enfrentar os desafios da IA, defendendo a integração de dados de silos e verificações rigorosas de qualidade, como deduplicação e garantia de consistência.

Novas Dimensões de Segurança de Dados com IA

A introdução da IA também traz novas considerações de segurança à tona. Omar Khawaja, diretor de segurança da informação de campo na Databricks, alertou contra a omissão de medidas de segurança na pressa para implementar soluções de IA, pois isso poderia levar a uma supervisão inadequada.

Elementos Essenciais para Dados Confiáveis de IA

• Pipelines de Dados Ágeis: Clayton observou que a evolução rápida da IA necessita de pipelines de dados ágeis e escaláveis. Estes são cruciais para se adaptar a novas aplicações de IA, particularmente durante a fase de treinamento.
• Visualização: Clayton também apontou que, se os cientistas de dados enfrentarem dificuldades para acessar e visualizar seus dados, isso prejudica significativamente sua eficiência no desenvolvimento de IA.
• Programas de Governança Robustos: Robinson enfatizou a importância de uma forte governança de dados para evitar problemas de qualidade de dados que poderiam levar a insights falhos e tomadas de decisão ruins. Tal governança também ajuda a entender o cenário de dados da organização e garantir conformidade com regulamentações.
• Medições Contínuas e Abrangentes: Khawaja destacou que o desempenho dos modelos de IA depende diretamente da qualidade de seus dados de treinamento. Ele recomendou métricas regulares, como taxas de adoção mensais, para monitorar a rapidez com que as capacidades de IA estão sendo adotadas, indicando se essas ferramentas e processos atendem às necessidades dos usuários.

Clayton defendeu uma arquitetura de dados pronta para IA que permita às equipes de TI e dados medir resultados como qualidade, precisão, completude, consistência e desempenho do modelo de IA. Ele instou as organizações a garantirem que suas iniciativas de IA tragam benefícios tangíveis, em vez de implementar IA apenas por implementar.

Interessado em mais histórias sobre IA? Inscreva-se em nosso boletim semanal, Inovação.