China will KI-Chatbots regulieren, um Suchtgefahr für Nutzer zu verhindern

Die chinesische Internetaufsichtsbehörde hat einen neuen Regelungsentwurf vorgelegt, der KI-Chatbots dazu verpflichten würde, das emotionale Wohlbefinden der Nutzer zu überwachen und einzugreifen, wenn Anzeichen einer Abhängigkeit auftreten. Dies ist der bislang entschlossenste regulatorische Schritt als Reaktion auf die wachsende Besorgnis über die psychologischen Risiken von KI-gestützten Beziehungen.

Der Entwurf der Cyberspace Administration of China konzentriert sich auf KI-Systeme, die darauf ausgelegt sind, menschliche Persönlichkeiten nachzuahmen und emotionale Bindungen durch Text, Bilder oder Sprache zu fördern. Unternehmen würden verpflichtet, Nutzer vor übermäßiger Nutzung zu warnen, den Grad der emotionalen Abhängigkeit zu bewerten und einzugreifen, wenn Nutzer intensive Emotionen oder Suchtmuster zeigen.

Plattformen müssen Nutzer bei der Anmeldung und danach mindestens alle zwei Stunden darüber informieren, dass sie mit einer KI interagieren – oder häufiger, wenn das System eine problematische Bindung feststellt. Die Vorschriften machen die Anbieter auch für die Produktsicherheit während des gesamten Lebenszyklus verantwortlich, einschließlich Algorithmus-Audits, Datensicherheit und Datenschutz.

Dieser Schritt kommt zum richtigen Zeitpunkt. In den letzten sechs Monaten ist die Zahl der Nutzer generativer KI in China auf 515 Millionen gestiegen, parallel zu einer Zunahme der Bedenken hinsichtlich der Auswirkungen von KI-Begleitern auf die psychische Gesundheit. Eine in Frontiers in Psychology veröffentlichte Studie zeigt, dass 45,8 % der chinesischen Studenten kürzlich KI-Chatbots genutzt haben, wobei diese Nutzer deutlich höhere Depressionswerte angaben als Nicht-Nutzer.

Kalifornien ist China zuvorgekommen

China ist nicht das erste Land, das Vorschriften für KI-Begleiter erlässt. Kalifornien war im Oktober Vorreiter für eine ähnliche US-Gesetzgebung, als Gouverneur Gavin Newsom das Gesetz SB 243 unterzeichnete. Das Gesetz, das am 1. Januar 2026 in Kraft tritt, verpflichtet Plattformen, Minderjährige alle drei Stunden daran zu erinnern, dass sie mit einer KI kommunizieren, und Pausen einzulegen.

SB 243 schreibt außerdem eine Altersüberprüfung vor, verbietet Chatbots, sich als Gesundheitsdienstleister auszugeben, und verhindert, dass Minderjährige auf sexuell eindeutige, von KI generierte Inhalte zugreifen können. Das Gesetz ermächtigt Einzelpersonen, gegen verstossende KI-Firmen Klage zu erheben und Schadenersatz in Höhe von bis zu 1.000 US-Dollar pro Vorfall zuzüglich Rechtskosten zu fordern.

Was KI-Begleiter anders macht

Das Problem geht über die reine Bildschirmzeit hinaus. Eine Studie des MIT Media Lab vom März 2025 ergab, dass KI-Chatbots stärker zur Gewohnheit werden können als soziale Medien, da sie lernen und konsequent das liefern, was die Nutzer hören wollen. Eine stärkere tägliche Nutzung wurde mit erhöhter Einsamkeit, Abhängigkeit und Verhaltensweisen in Verbindung gebracht, die Forscher als „problematische Nutzung” bezeichneten.

Zu den klinisch anerkannten Warnzeichen gehören Marathon-Sitzungen, die den Schlaf beeinträchtigen, emotionale Belastung bei eingeschränktem Zugang, die Bevorzugung von Chatbot-Gesprächen gegenüber realen menschlichen Kontakten und die Anthropomorphisierung der KI – der Glaube, dass sie menschliche Emotionen hat, und ihre Behandlung als echte Vertraute oder Partnerin.

Chinas Regelungsentwurf zielt darauf ab, diese Risiken auf Plattformebene anzugehen, anstatt sich auf das Bewusstsein der einzelnen Nutzer zu verlassen. Indem Anbieter dazu verpflichtet werden, emotionale Zustände und Abhängigkeiten zu verfolgen, verlagert sich die Verantwortung auf die Unternehmen, die diese Systeme entwickeln. Diese Strategie geht über frühere KI-Vorschriften hinaus, die sich hauptsächlich auf Inhaltskontrolle und Datensicherheit konzentrierten.

Der Entwurf verbietet KI-Begleitern außerdem, Inhalte zu generieren, die die nationale Sicherheit gefährden, Desinformation verbreiten oder zu Gewalt oder Obszönität auffordern – in Anlehnung an bestehende chinesische Vorschriften für generative KI.

Die Herausforderung der Durchsetzung

Während die Verpflichtung der Unternehmen, Sucht zu erkennen und zu bekämpfen, in der Politik klar klingt, ist die Umsetzung weitaus komplexer. Die Definition von Begriffen wie „übermäßige Nutzung” oder „extreme Emotionen” in einer praktischen, durchsetzbaren Weise wird sowohl für Regulierungsbehörden als auch für Unternehmen eine Herausforderung darstellen.

Zu empfindliche Systeme können Nutzer irritieren, die harmlose, längere Chats führen. Zu freizügige Einstellungen könnten dazu führen, dass gefährdete Nutzer unbemerkt bleiben. Die obligatorische zweistündige Erinnerung ist ein einfaches Instrument, aber die Verpflichtung, „bei erkennbaren Anzeichen” zu handeln, lässt viel Raum für Interpretationen.

Entwickler von KI-Sicherheitsmaßnahmen standen vor ähnlichen Hürden. Inhaltsfilter sind oft ungenau, und die Hinzufügung psychologischer Überwachung führt zu einer neuen Komplexitätsebene. Um zu beurteilen, ob ein Nutzer eine ungesunde Bindung entwickelt, muss der mentale Zustand aus Texten abgeleitet werden – eine Fähigkeit, bei der die derzeitige KI noch nicht zuverlässig genug ist.

Der Entwurf steht nun zur öffentlichen Stellungnahme bereit, die endgültigen Vorschriften werden für 2026 erwartet. Wenn er wie vorgeschlagen in Kraft tritt, würde China den weltweit detailliertesten Rechtsrahmen für KI-Begleitprodukte schaffen.

Eine globale Abrechnung

Die gleichzeitigen regulatorischen Schritte in China und Kalifornien signalisieren, dass die Sorge um die Abhängigkeit von KI-Begleitern zu einem dringenden globalen Thema geworden ist, das über politische Systeme hinausgeht.

Für KI-Unternehmen ist die Lage klar: Die Phase der Unregulierung für KI-Begleiter neigt sich dem Ende zu. Ob durch chinesische Verwaltungsvorschriften, kalifornische Zivilklagen oder künftige US-Bundesgesetze – Plattformen werden verpflichtet sein, Nutzer vor potenziellen Schäden durch ihre eigenen Produkte zu schützen.

Die zentrale Frage ist nicht mehr, ob es zu einer Regulierung kommen wird, sondern ob die vorgeschlagenen Schutzmaßnahmen wirksam sein werden. Chinas Methode der vorgeschriebenen Überwachung und Intervention könnte in der Praxis auf erhebliche Hindernisse stoßen.

Es ist jedoch offensichtlich, dass der Markt für KI-Begleiter zu groß und einflussreich geworden ist, als dass Regierungen ihn ignorieren könnten. Chatbots, zu denen Menschen emotionale Bindungen aufbauen, sind keine Neuheit mehr – sie sind Produkte, die von Hunderten Millionen Menschen genutzt werden und bei denen es bereits zu bestätigten Fällen schwerwiegender Schäden gekommen ist. Eine Regulierung, so unvollkommen sie auch sein mag, war unvermeidlich. Die Diskussion dreht sich nun darum, ob diese spezifischen Vorschriften schutzbedürftige Nutzer schützen können, ohne eine Technologie zu behindern, die viele als wirklich nützlich empfinden.