Órgãos de saúde dos EUA avaliam modelos de IA da OpenAI e da Anthropic

Órgãos de saúde pública em todo o país devem avaliar a IA generativa por meio de uma nova iniciativa liderada pela Coalizão para a IA na Saúde (Coalition for Health AI), em parceria com a OpenAI, a Anthropic e a Accenture.

O Public Health Use Case and Learning Scaling Engine (PULSE) financiará testes em 10 jurisdições estaduais, locais, tribais e territoriais. A iniciativa visa gerar orientações práticas de implementação para organizações de saúde pública que estejam considerando implantações semelhantes de IA.

A OpenAI e a Anthropic contribuíram com 10 licenças corporativas, oferecendo suporte a até 2.000 profissionais de saúde pública. A Accenture gerenciará a integração dos participantes e auxiliará no desenvolvimento de manuais de implementação com base nos resultados dos testes.

O programa concede aos profissionais de saúde pública acesso a produtos de IA de nível empresarial da OpenAI e da Anthropic. No entanto, a CHAI não divulgou os produtos específicos, as versões dos modelos ou as configurações a serem utilizadas, nem como os fornecedores serão distribuídos entre os locais do projeto piloto.

“Toda grande transformação tecnológica tem sucesso ou fracassa com base na confiança, na governança e na execução”, afirmou o Dr. David Lakey, ex-comissário de saúde do Texas. “O PULSE foi projetado para apoiar as agências nesse esforço, com foco na implementação prática.”

Cinco casos de uso em saúde pública

O conselho de liderança da Coalition for Health AI selecionará as jurisdições participantes e designará profissionais para cinco áreas-chave: biovigilância e previsão de surtos de doenças, mapeamento dos determinantes sociais da saúde (SDoH), eficiência operacional e análise de feedback da comunidade, comunicações públicas e um centro de tradução multilíngue. Além disso, o programa inclui a recuperação automatizada de dados clínicos e um mecanismo de consulta FHIR.

A Estrutura de Gestão de Riscos de IA do NIST recomenda a avaliação de sistemas de IA com base em sua finalidade, ambiente operacional, partes afetadas e consequências potenciais. A CHAI ainda não publicou critérios específicos de avaliação, privacidade, segurança ou revisão humana para esses cinco casos de uso do PULSE.

O FHIR é um padrão HL7 que facilita a troca eletrônica de informações de saúde entre sistemas compatíveis.

Embora o PULSE inclua uma recuperação automatizada de dados clínicos e um mecanismo de consulta FHIR, o anúncio não esclarece o papel da IA generativa nesse fluxo de trabalho. Ainda não está claro se os modelos irão gerar consultas, recuperar registros, resumir informações ou combinar essas funções.

Além disso, o anúncio não especifica se consultas incorretas, recuperações incompletas ou resumos sem fundamento serão revisados pela equipe antes que as informações sejam utilizadas.

Algumas aplicações propostas podem envolver dados demográficos, geográficos, clínicos ou de saúde da população. A CHAI não indicou se os projetos-piloto utilizarão registros identificáveis, informações desidentificadas, dados sintéticos ou conjuntos de dados agregados.

De acordo com a HIPAA, as organizações abrangidas pela regulamentação devem proteger determinadas informações eletrônicas de saúde. As diretrizes sobre computação em nuvem do Departamento de Saúde e Serviços Humanos exigem que as entidades reguladas e os prestadores de serviços cumpram os requisitos da HIPAA quando os sistemas em nuvem criarem, receberem, mantiverem ou transmitirem informações eletrônicas de saúde protegidas.

As normas da HIPAA não se aplicarão a todas as organizações participantes ou fluxos de trabalho. Sua aplicabilidade depende da agência específica, dos dados envolvidos e da função que está sendo desempenhada.

A OpenAI afirma que as entradas e saídas de seus serviços comerciais, incluindo o ChatGPT Enterprise e sua API, não são utilizadas para treinar ou aprimorar seus modelos por padrão. Da mesma forma, a Anthropic confirma que não utiliza entradas e saídas de seus produtos comerciais para o treinamento de modelos por padrão.

Essas políticas dos provedores não definem a configuração das implantações do PULSE. O anúncio carece de detalhes sobre períodos de retenção, controles de acesso, disposições de auditoria, requisitos de armazenamento de dados ou regras para o envio de informações de saúde protegidas.

“Acreditamos que a IA deve ser útil, segura e acessível às pessoas que enfrentam os desafios mais importantes da sociedade”, disse Felipe Millon, chefe de entrada no mercado governamental da OpenAI. Ele observou que as licenças têm como objetivo ajudar as organizações de saúde pública a avaliar essas ferramentas por meio de um processo estruturado.

Governança e avaliação permanecem indefinidas

O lançamento dos projetos-piloto está previsto para o outono de 2026. A CHAI espera que os manuais resultantes sejam divulgados em 2027, servindo como material de referência para outras agências de saúde pública.

A CHAI não publicou as métricas para avaliar os projetos-piloto nem explicou se cada caso de uso será avaliado sob critérios técnicos, operacionais, de privacidade e de segurança distintos.

O anúncio também não explica como os resultados dos modelos serão analisados. Ele não especifica se a equipe deve aprovar as comunicações públicas geradas, verificar traduções, validar informações clínicas recuperadas ou analisar os resultados da biovigilância e da previsão de ondas de contágio antes do uso.

As orientações do NIST recomendam identificar quais funções de IA requerem supervisão humana e treinar os usuários para compreender o desempenho e as limitações do sistema. Suas orientações sobre IA generativa também abrangem testes, validação, monitoramento, documentação, privacidade e supervisão gerencial.

“As equipes de saúde pública estão sendo solicitadas a fazer mais com menos, e a IA pode ajudar — desde que seja implementada com cuidado e com as medidas de proteção adequadas”, disse Elizabeth Kelly, chefe de implantações benéficas da Anthropic. Ela afirmou que o PULSE permite que os profissionais testem ferramentas em seus próprios ambientes, incorporando medidas de privacidade, governança e uso responsável desde o início.

Dados da Associação Nacional de Autoridades de Saúde de Condados e Municípios, citados pela CHAI, indicam que quase 40% dos departamentos de saúde locais não estão utilizando IA atualmente. A coalizão observou que alguns departamentos estão interessados em revisar fluxos de trabalho e melhorar a eficiência operacional.

O PULSE fornecerá licenças corporativas, suporte à integração, comunidades de pares e guias de implementação. No entanto, a CHAI não especificou os requisitos mínimos de pessoal, infraestrutura, interoperabilidade ou segurança cibernética para as jurisdições participantes.

Os participantes elegíveis incluem departamentos de saúde estaduais e territoriais, órgãos municipais e distritais, autoridades tribais, organizações de saúde indígenas e departamentos de saúde de grandes cidades.

O PULSE planeja converter as conclusões de 10 jurisdições em orientações para uso mais amplo. O anúncio não explica como os manuais de implementação levarão em conta as diferenças no tamanho das agências, nos sistemas técnicos, nas responsabilidades legais, no quadro de pessoal ou nos acordos de aquisição.

Além disso, o anúncio não esclarece se os resultados da biovigilância, da previsão de ondas de contágio ou da recuperação de dados clínicos serão utilizados exclusivamente para testes, apresentados à equipe para análise ou incorporados aos fluxos de trabalho operacionais.

A PULSE faz parte do trabalho mais amplo da Coalition for Health AI sobre padrões de governança para a IA na área da saúde. Em maio, a organização anunciou planos para desenvolver orientações abrangendo oito áreas de governança por meio de workshops e grupos de trabalho envolvendo mais de 150 representantes da IA na área da saúde.

A coalizão começou a publicar manuais sobre políticas organizacionais de IA, estruturas de governança e recursos internos. Espera-se que orientações adicionais abranjam outras áreas da gestão da IA na área da saúde.

Separadamente, a CHAI colaborou com a Joint Commission na elaboração de manuais de governança alinhados à sua certificação voluntária “Uso Responsável da IA na Saúde”. O anúncio do PULSE não indica que as agências de saúde pública participantes serão avaliadas sob essa certificação.

O Dr. Brian Anderson, CEO da Coalition for Health AI, observou que as agências de saúde pública entraram na pandemia da COVID-19 após anos de investimento limitado em tecnologia. Ele afirmou que o PULSE tem como objetivo proporcionar às agências experiência prática com IA antes de uma implementação mais ampla.

“Sabemos que a IA vai remodelar a forma como prestamos serviços de saúde pública — a questão é se faremos isso de maneira ponderada ou não”, disse o Dr. Ashish Jha, ex-coordenador da resposta à COVID-19 da Casa Branca. Ele acrescentou que o programa testará quais aplicações funcionam e documentará as descobertas para outras agências.

Veja também: Bunkerhill levanta US$ 55 milhões para expandir a IA agentiva nos sistemas de saúde

Quer saber mais sobre IA e big data com líderes do setor? Conheça a AI & Big Data Expo, que acontecerá em Amsterdã, Califórnia e Londres. Este evento abrangente faz parte da TechEx e será realizado em conjunto com outros eventos de tecnologia de ponta, incluindo a Cyber Security & Cloud Expo. Clique aqui para mais informações.

O AI News é apresentado pela TechForge Media. Conheça aqui outros eventos e webinars de tecnologia empresarial que acontecerão em breve.