US-Gesundheitsbehörden bewerten KI-Modelle von OpenAI und Anthropic

Gesundheitsbehörden im ganzen Land sollen im Rahmen einer neuen Initiative unter der Leitung der „Coalition for Health AI“ in Zusammenarbeit mit OpenAI, Anthropic und Accenture generative KI evaluieren.

Die „Public Health Use Case and Learning Scaling Engine“ (PULSE) wird Pilotprojekte in zehn Bundesstaaten, Kommunen, Stammesgebieten und Territorien finanzieren. Ziel der Initiative ist es, umsetzbare Leitlinien für Gesundheitsbehörden zu erstellen, die ähnliche KI-Einsätze in Betracht ziehen.

OpenAI und Anthropic haben 10 Unternehmenslizenzen zur Verfügung gestellt, mit denen bis zu 2.000 Fachkräfte im öffentlichen Gesundheitswesen unterstützt werden können. Accenture wird die Einbindung der Teilnehmer verwalten und bei der Entwicklung von Implementierungsleitfäden auf der Grundlage der Versuchsergebnisse helfen.

Das Programm gewährt Mitarbeitern des öffentlichen Gesundheitswesens Zugang zu KI-Produkten auf Unternehmensniveau von OpenAI und Anthropic. CHAI hat jedoch weder die konkreten Produkte, Modellversionen oder Konfigurationen, die zum Einsatz kommen sollen, noch die Verteilung der Anbieter auf die Pilotstandorte bekannt gegeben.

„Der Erfolg oder Misserfolg jeder großen technologischen Transformation hängt von Vertrauen, Governance und Umsetzung ab“, sagte Dr. David Lakey, ehemaliger Gesundheitsbeauftragter von Texas. „PULSE soll die Behörden bei diesen Bemühungen unterstützen und konzentriert sich dabei auf die praktische Umsetzung.“

Fünf Anwendungsfälle im Bereich der öffentlichen Gesundheit

Der Führungsrat der Coalition for Health AI wird die teilnehmenden Verwaltungsbezirke auswählen und Fachkräfte den folgenden fünf Schlüsselbereichen zuweisen: Biosurveillance und Vorhersage von Infektionswellen, Kartierung sozialer Determinanten der Gesundheit (SDoH), operative Effizienz und Analyse von Rückmeldungen aus der Bevölkerung, Öffentlichkeitsarbeit sowie eine mehrsprachige Übersetzungszentrale. Darüber hinaus umfasst das Programm die automatisierte Abfrage klinischer Daten sowie eine FHIR-Abfrage-Engine.

Das NIST-Rahmenwerk für KI-Risikomanagement empfiehlt, KI-Systeme anhand ihres Verwendungszwecks, ihrer Betriebsumgebung, der betroffenen Parteien und potenzieller Folgen zu bewerten. CHAI hat bislang noch keine spezifischen Kriterien für die Bewertung, den Datenschutz, die Sicherheit oder die Überprüfung durch Menschen für diese fünf PULSE-Anwendungsfälle veröffentlicht.

FHIR ist ein HL7-Standard, der den elektronischen Austausch von Gesundheitsdaten zwischen kompatiblen Systemen ermöglicht.

Zwar umfasst PULSE eine automatisierte klinische Datenerfassung und eine FHIR-Abfrage-Engine, doch wird in der Ankündigung die Rolle generativer KI in diesem Arbeitsablauf nicht näher erläutert. Es bleibt unklar, ob die Modelle Abfragen generieren, Datensätze abrufen, Informationen zusammenfassen oder diese Funktionen kombinieren werden.

Darüber hinaus geht aus der Ankündigung nicht hervor, ob fehlerhafte Abfragen, unvollständige Abrufe oder nicht zulässige Zusammenfassungen von Mitarbeitern überprüft werden, bevor die Informationen genutzt werden.

Einige der vorgeschlagenen Anwendungen könnten demografische, geografische, klinische oder bevölkerungsbezogene Gesundheitsdaten umfassen. CHAI hat nicht angegeben, ob bei den Pilotprojekten identifizierbare Datensätze, anonymisierte Informationen, synthetische Daten oder aggregierte Datensätze verwendet werden.

Gemäß dem HIPAA müssen Organisationen, die unter diese Verordnung fallen, bestimmte elektronische Gesundheitsdaten schützen. Die Cloud-Computing-Leitlinien des Ministeriums für Gesundheit und Soziales schreiben vor, dass regulierte Einrichtungen und Dienstleister die HIPAA-Anforderungen einhalten müssen, wenn Cloud-Systeme elektronische geschützte Gesundheitsdaten erstellen, empfangen, verwalten oder übertragen.

Die HIPAA-Vorschriften gelten nicht für alle teilnehmenden Organisationen oder Arbeitsabläufe. Ihre Anwendbarkeit hängt von der jeweiligen Behörde, den betroffenen Daten und der ausgeführten Funktion ab.

OpenAI gibt an, dass Eingaben und Ausgaben seiner Unternehmensdienste, einschließlich ChatGPT Enterprise und dessen API, standardmäßig nicht zum Trainieren oder Verbessern seiner Modelle verwendet werden. Ebenso bestätigt Anthropic, dass es Eingaben und Ausgaben seiner kommerziellen Produkte standardmäßig nicht für das Modelltraining nutzt.

Diese Richtlinien der Anbieter legen die Konfiguration von PULSE-Bereitstellungen nicht fest. In der Ankündigung fehlen Einzelheiten zu Aufbewahrungsfristen, Zugriffskontrollen, Prüfungsregelungen, Anforderungen an die Datenspeicherung oder Regeln für die Übermittlung geschützter Gesundheitsdaten.

„Wir sind der Ansicht, dass KI nützlich, sicher und für diejenigen zugänglich sein sollte, die sich den wichtigsten gesellschaftlichen Herausforderungen stellen“, sagte Felipe Millon, Leiter des Bereichs Government Go-to-Market bei OpenAI. Er wies darauf hin, dass die Lizenzen dazu dienen sollen, Organisationen des öffentlichen Gesundheitswesens dabei zu unterstützen, diese Tools im Rahmen eines strukturierten Prozesses zu bewerten.

Governance und Bewertung bleiben ungeklärt

Der Start der Pilotprojekte ist für Herbst 2026 geplant. CHAI geht davon aus, dass die daraus resultierenden Leitfäden im Jahr 2027 veröffentlicht werden und als Referenzmaterial für andere Gesundheitsbehörden dienen sollen.

CHAI hat weder die Kennzahlen zur Bewertung der Pilotprojekte veröffentlicht noch erläutert, ob jeder Anwendungsfall anhand separater technischer, betrieblicher, datenschutzrechtlicher und sicherheitsrelevanter Kriterien bewertet wird.

In der Ankündigung wird auch nicht erläutert, wie die Modellausgaben überprüft werden sollen. Es wird nicht konkretisiert, ob Mitarbeiter generierte öffentliche Mitteilungen genehmigen, Übersetzungen überprüfen, abgerufene klinische Informationen validieren oder die Ergebnisse der Biosurveillance und der Arzneimittelwellen vor der Verwendung prüfen müssen.

Die NIST-Leitlinien empfehlen, zu ermitteln, welche KI-Funktionen menschliche Aufsicht erfordern, und die Nutzer darin zu schulen, die Leistung und Grenzen des Systems zu verstehen. Die Leitlinien zur generativen KI behandeln zudem die Bereiche Testen, Validierung, Überwachung, Dokumentation, Datenschutz und Managementaufsicht.

„Teams im Bereich der öffentlichen Gesundheit werden aufgefordert, mit weniger mehr zu leisten, und KI kann dabei helfen – solange sie mit Bedacht und den richtigen Schutzmaßnahmen eingesetzt wird“, sagte Elizabeth Kelly, Leiterin für den sinnvollen Einsatz von KI bei Anthropic. Sie erklärte, dass PULSE es Praktikern ermöglicht, Tools in ihren eigenen Umgebungen zu testen und dabei von Anfang an Maßnahmen zum Datenschutz, zur Governance und zur verantwortungsvollen Nutzung zu integrieren.

Daten der „National Association of County and City Health Officials“, auf die sich die CHAI beruft, zeigen, dass fast 40 % der lokalen Gesundheitsämter derzeit keine KI einsetzen. Die Koalition merkte an, dass einige Ämter daran interessiert sind, Arbeitsabläufe zu überarbeiten und die betriebliche Effizienz zu verbessern.

PULSE wird Unternehmenslizenzen, Unterstützung bei der Einarbeitung, Peer-Communities und Leitfäden für die Implementierung bereitstellen. Die CHAI hat jedoch keine Mindestanforderungen hinsichtlich Personalausstattung, Infrastruktur, Interoperabilität oder Cybersicherheit für teilnehmende Behörden festgelegt.

Zu den teilnahmeberechtigten Teilnehmern zählen Gesundheitsämter der Bundesstaaten und Territorien, Kreis- und Kommunalbehörden, Stammesbehörden, indianische Gesundheitsorganisationen sowie Gesundheitsämter großer Städte.

PULSE plant, die Erkenntnisse aus 10 Behörden in Leitlinien für eine breitere Anwendung umzusetzen. In der Ankündigung wird nicht erläutert, wie die Leitfäden Unterschiede hinsichtlich der Größe der Behörden, der technischen Systeme, der rechtlichen Verantwortlichkeiten, der Personalausstattung oder der Beschaffungsregelungen berücksichtigen werden.

Zudem wird in der Ankündigung nicht klargestellt, ob die Ergebnisse aus der Biosurveillance, der Vorhersage von Medikamentenwellen oder der Abfrage klinischer Daten ausschließlich für Tests verwendet, dem Personal zur Überprüfung vorgelegt oder in operative Arbeitsabläufe integriert werden.

PULSE ist Teil der umfassenderen Arbeit der „Coalition for Health AI“ an Governance-Standards für KI im Gesundheitswesen. Im Mai kündigte die Organisation Pläne an, durch Workshops und Arbeitsgruppen unter Einbeziehung von über 150 Vertretern aus dem Bereich der KI im Gesundheitswesen Leitlinien für acht Governance-Bereiche zu entwickeln.

Die Koalition hat damit begonnen, Leitfäden zu organisatorischen KI-Richtlinien, Governance-Strukturen und internen Ressourcen zu veröffentlichen. Weitere Leitlinien sollen andere Bereiche des KI-Managements im Gesundheitswesen abdecken.

Unabhängig davon hat die CHAI gemeinsam mit der Joint Commission an Governance-Leitfäden gearbeitet, die auf deren freiwillige Zertifizierung „Responsible Use of AI in Healthcare“ abgestimmt sind. In der PULSE-Ankündigung wird nicht erwähnt, dass teilnehmende Gesundheitsbehörden im Rahmen dieser Zertifizierung bewertet werden sollen.

Dr. Brian Anderson, CEO der Coalition for Health AI, wies darauf hin, dass die Gesundheitsbehörden nach Jahren begrenzter Technologieinvestitionen in die COVID-19-Pandemie gestartet seien. Er erklärte, PULSE ziele darauf ab, den Behörden praktische Erfahrungen mit KI zu vermitteln, bevor diese in größerem Umfang eingeführt werde.

„Wir wissen, dass KI die Art und Weise, wie wir das öffentliche Gesundheitswesen gestalten, grundlegend verändern wird – die Frage ist, ob wir dies wohlüberlegt tun oder nicht“, sagte Dr. Ashish Jha, ehemaliger COVID-19-Koordinator des Weißen Hauses. Er fügte hinzu, dass das Programm testen werde, welche Anwendungen funktionieren, und die Ergebnisse für andere Behörden dokumentieren werde.

Siehe auch: Bunkerhill sammelt 55 Millionen Dollar ein, um agentische KI in Gesundheitssystemen zu skalieren

Möchten Sie mehr über KI und Big Data von Branchenführern erfahren? Entdecken Sie die AI & Big Data Expo, die in Amsterdam, Kalifornien und London stattfindet. Diese umfassende Veranstaltung ist Teil der TechEx und findet parallel zu anderen führenden Technologieveranstaltungen statt, darunter die Cyber Security & Cloud Expo. Klicken Sie hier für weitere Informationen.

AI News wird von TechForge Media bereitgestellt. Entdecken Sie hier weitere bevorstehende Veranstaltungen und Webinare zum Thema Unternehmenstechnologie.