Исследование выявило проблемы, связанные с получением надежных медицинских рекомендаций от чат-ботов

В то время как системы здравоохранения борются с длительным ожиданием и растущими расходами, все большее число пациентов экспериментируют с чат-ботами с искусственным интеллектом, такими как ChatGPT, для получения предварительной медицинской консультации. Согласно последним данным, около 17 % взрослых жителей США ежемесячно обращаются к этим инструментам за медицинской информацией. Однако новое исследование показывает, что эта новая практика сопряжена со значительными рисками, особенно когда пользователи не предоставляют адекватного контекста или неправильно интерпретируют ответы ИИ.

Исследование, проведенное под руководством Оксфорда, выявило критические ограничения в том, насколько эффективно люди используют разговорный ИИ для медицинской самооценки. Исследовательская группа работала с 1 300 британскими участниками, представляя им разработанные врачами медицинские сценарии. Участники пытались поставить диагноз, используя либо ИИ-помощников, либо традиционные методы, такие как поиск в Интернете, и получили неутешительные результаты на разных платформах ИИ.

"Мы наблюдали фундаментальный разрыв связи в обоих направлениях", - пояснил Адам Махди, соавтор исследования из Оксфордского института интернета. "Пользователи ИИ продемонстрировали не лучшие способности к принятию решений, чем те, кто использовал традиционные подходы, а в некоторых случаях даже хуже".

В ходе исследования были протестированы три ведущие модели ИИ: GPT-4o от OpenAI (на базе которой работает ChatGPT), Command R+ от Cohere и Llama 3 от Meta. Результаты выявили две тревожные закономерности:

• Участники, использовавшие инструменты ИИ, были менее успешны в определении соответствующих состояний здоровья
• Взаимодействие с ИИ приводило к опасной недооценке тяжести состояния.

Махди отметил значительные проблемы с качеством ввода и интерпретацией результатов: "Пользователи часто упускали важные медицинские детали при формулировании запросов, в то время как ответы ИИ часто смешивали точные советы с проблематичными предложениями". Такое сочетание создавало особенно опасные сценарии, в которых пользователи могли принимать неправильные решения в области здравоохранения.

Промышленность против медицинских реалий

Эти выводы появились на фоне того, что крупные технологические компании активно разрабатывают приложения ИИ, ориентированные на здоровье:

• Apple, как сообщается, создает велнес-советника для рекомендаций по физическим упражнениям и сну.
• Amazon анализирует медицинские карты на предмет социальных показателей здоровья
• Microsoft разрабатывает системы искусственного интеллекта для определения приоритетов в общении с пациентами.

Однако медицинское сообщество по-прежнему с осторожностью относится к внедрению этих технологий в клинических условиях. Американская медицинская ассоциация прямо предостерегает врачей от использования потребительских чат-ботов для поддержки принятия решений, и это предупреждение повторяют сами разработчики ИИ. Политика использования Open AI специально запрещает использовать свои модели в диагностических целях.

"Мы настоятельно рекомендуем людям обращаться к проверенным медицинским источникам, а не к результатам работы чат-ботов для принятия решений в области здравоохранения", - подчеркнул Махди. "Перед широким внедрением эти системы нуждаются в тщательном тестировании в реальных условиях, сравнимом с фармацевтическими испытаниями".

Заключение

Хотя чат-боты с искусственным интеллектом предлагают интригующие возможности для повышения доступности здравоохранения, данное исследование выявляет существенные риски в текущих реализациях. По мере развития технологии разработчики должны устранить критические пробелы в надежности, а пользователи должны подходить к медицинским советам ИИ с соответствующим скептицизмом.