Estudo revela desafios na obtenção de conselhos de saúde confiáveis de chatbots

À medida que os sistemas de saúde lutam com tempos de espera prolongados e custos crescentes, um número cada vez maior de pacientes está experimentando chatbots com IA, como o ChatGPT, para obter aconselhamento médico preliminar. Dados recentes mostram que aproximadamente 17% dos adultos dos EUA consultam essas ferramentas para obter informações sobre saúde todos os meses. No entanto, uma nova pesquisa sugere que essa prática emergente traz riscos significativos, principalmente quando os usuários não fornecem o contexto adequado ou interpretam mal as respostas da IA.

O estudo conduzido por Oxford expôs limitações críticas na eficácia com que as pessoas usam a IA conversacional para autoavaliação médica. A equipe de pesquisa trabalhou com 1.300 participantes do Reino Unido, apresentando a eles cenários médicos desenvolvidos por médicos. Os participantes tentaram fazer o diagnóstico usando assistentes de IA ou métodos convencionais, como pesquisas na Internet, com resultados preocupantes em várias plataformas de IA.

"Observamos uma desconexão fundamental na comunicação em ambas as direções", explicou Adam Mahdi, coautor do estudo do Oxford Internet Institute. "Os usuários de IA não demonstraram melhores capacidades de tomada de decisão do que aqueles que empregaram abordagens tradicionais e, em alguns casos, tiveram um desempenho pior."

O estudo testou três modelos líderes de IA: GPT-4o da OpenAI (que alimenta o ChatGPT), Command R+ da Cohere e Llama 3 da Meta. Os resultados revelaram dois padrões preocupantes:

• Os participantes que usaram ferramentas de IA tiveram menos sucesso na identificação de condições de saúde relevantes
• As interações de IA levaram a uma perigosa subestimação da gravidade da condição

Mahdi observou problemas significativos com a qualidade da entrada e a interpretação da saída: "Os usuários frequentemente omitiam detalhes médicos cruciais ao formularem consultas, enquanto as respostas da IA frequentemente misturavam conselhos precisos com sugestões problemáticas." Essa combinação criou cenários particularmente perigosos em que os usuários podem tomar decisões inadequadas sobre cuidados com a saúde.

Impulso do setor vs. realidades médicas

Essas descobertas surgem no momento em que as principais empresas de tecnologia desenvolvem agressivamente aplicativos de IA voltados para a saúde:

• A Apple está supostamente criando um consultor de bem-estar para orientação sobre exercícios e sono
• A Amazon está analisando registros médicos para obter indicadores sociais de saúde
• A Microsoft está desenvolvendo sistemas de IA para priorizar as comunicações com os pacientes

No entanto, a comunidade médica continua cautelosa quanto à implementação dessas tecnologias em ambientes clínicos. A Associação Médica Americana adverte explicitamente os médicos contra o uso de chatbots de consumidores para suporte a decisões, um aviso que é repetido pelos próprios desenvolvedores de IA. As políticas de uso da Open AI proíbem especificamente o emprego de seus modelos para fins de diagnóstico.

"Aconselhamos enfaticamente que as pessoas consultem fontes médicas verificadas em vez de resultados de chatbots para tomar decisões de saúde", enfatizou Mahdi. "Antes da ampla implantação, esses sistemas precisam de testes rigorosos no mundo real, comparáveis aos testes farmacêuticos."

Conclusão

Embora os chatbots de IA ofereçam possibilidades intrigantes para tornar a assistência médica mais acessível, esta pesquisa destaca riscos substanciais nas implementações atuais. À medida que a tecnologia evolui, os desenvolvedores devem abordar as lacunas críticas na confiabilidade, enquanto os usuários devem abordar o aconselhamento médico da IA com o ceticismo adequado.