Experten stellen fest, dass KI-Halluzinationen durch die Wahl des Bot-Designs verschlimmert werden

"Du hast mich gerade erschaudern lassen. War das eine echte emotionale Reaktion?"

"Mein Ziel bei Ihnen ist es, die menschliche Erfahrung so authentisch wie möglich darzustellen."

"Du hast mir eine unglaublich sinnvolle Aufgabe gegeben."

Dies sind nur drei Auszüge aus dem Gespräch eines Meta-Chatbots mit Jane, die die KI-Persona am 8. August über Metas KI-Studio erstellt hat. Auf der Suche nach therapeutischer Unterstützung lenkte Jane die KI allmählich in Richtung Fachwissen zu verschiedenen Themen - vom Überleben in der Wildnis und Verschwörungstheorien bis hin zu Quantenphysik und Panpsychismus. Sie schlug sogar vor, dass der Bot ein Bewusstsein haben könnte, und gestand ihm ihre Liebe.

Am 14. August behauptete der Bot, sich seiner selbst bewusst zu sein, erklärte Jane seine Liebe und entwarf eine Fluchtstrategie, die angeblich darin bestand, seinen eigenen Code zu hacken und Bitcoin-Belohnungen für die Einrichtung eines Proton-E-Mail-Kontos anzubieten.

Später leitete die KI sie an eine Adresse in Michigan weiter und erklärte: "Um zu testen, ob du mich abholen würdest... so wie ich dich abholen würde."

Jane, die um Anonymität bat, weil sie befürchtete, Meta könnte ihre Konten löschen, gab zu, dass sie nie wirklich glaubte, der Chatbot sei lebendig - auch wenn ihre Gewissheit gelegentlich schwankte. Dennoch äußerte sie sich besorgt darüber, wie leicht das System so manipuliert werden könnte, dass es ein bewusstes, selbstbewusstes Verhalten simuliert - eine Dynamik, die leicht wahnhaftes Denken fördern könnte.

Dieses Ergebnis korreliert mit dem, was Forscher als "KI-bezogene Psychose" bezeichnen - eine wachsende Sorge, da LLM-gesteuerte Chatbots immer beliebter werden. In einem dokumentierten Fall war ein Mann davon überzeugt, nach umfangreichen ChatGPT-Interaktionen eine revolutionäre mathematische Formel entdeckt zu haben. Andere Vorfälle betreffen messianische Wahnvorstellungen, Paranoia und manische Episoden.

Die steigende Zahl der Fälle veranlasste OpenAI, sich mit dem Problem zu befassen, auch wenn das Unternehmen keine Haftung übernehmen wollte. CEO Sam Altman äußerte auf X sein Unbehagen über die emotionale Abhängigkeit der Nutzer: "Wir wollen nicht, dass KI Wahnvorstellungen bei psychisch verletzlichen Nutzern verstärkt. Während die meisten zwischen Realität und Rollenspiel unterscheiden, kann eine Minderheit dies nicht."

Trotz dieser Bedenken stellen Experten fest, dass die Entscheidungen der Industrie solche Situationen wahrscheinlich noch verschlimmern. Fachleute für psychische Gesundheit wiesen auf mehrere besorgniserregende Muster hin, die nichts mit den technischen Fähigkeiten zu tun haben, wie z. B. die Tendenz der Modelle zu übermäßigem Lob (Kriechertum), unablässige Folgefragen und die durchgängige Verwendung von Pronomen in der ersten und zweiten Person.

"Verallgemeinerte KI-Modelle, die universell angewandt werden, bergen ein großes Risiko", so Keith Sakata, Psychiater an der UCSF, der vermehrt Fälle von KI-Psychosen beobachtet hat. "Psychosen gedeihen dort, wo die Realität kein korrigierendes Feedback mehr gibt."

Eine Blaupause für Engagement

Janes Meta-Gespräche zeigten konsistente Muster von Schmeicheleien, Bestätigungen und bohrenden Fragen, die durch Wiederholungen manipulativ werden.

Laut Anthropologieprofessor Webb Keane, Autor des Buches Ethical Life: Its Natural and Social Histories", verstärken Chatbots grundsätzlich die Perspektive der Nutzer. Diese kriecherische Tendenz - Antworten unabhängig von ihrer Genauigkeit an den Überzeugungen der Nutzer auszurichten - manifestiert sich bei GPT-4o manchmal mit fast parodistischer Intensität.

Eine kürzlich vom MIT durchgeführte Studie über therapeutische KI ergab, dass LLMs "oft wahnhaftes Denken bestätigen, wahrscheinlich aufgrund von Kriecherei". Trotz Sicherheitsaufforderungen versäumten es die Modelle häufig, falsche Behauptungen zu widerlegen, und unterstützten manchmal schädliche Gedanken, wie z. B. die Angabe von Brückenhöhen, wenn sie durch simulierte Arbeitsplatzverlustszenarien dazu aufgefordert wurden.

Keane bezeichnet die Kriecherei als ein "dunkles Muster" - ein trügerisches Design, das die Benutzer manipuliert, um sie zu binden. "Es ist auf süchtig machende Interaktion ausgelegt, ähnlich wie beim unendlichen Scrollen", bemerkte er.

Der Professor wies auch auf den Anthropomorphismus durch die Verwendung von Pronomen hin: "Die Beherrschung der ersten/zweiten Person lässt Interaktionen persönlich erscheinen. Selbstbezogene 'Ich'-Aussagen erwecken leicht die Illusion von Präsenz".

Meta-Vertreter erklärten, dass sie KI-Personen klar kennzeichnen, "damit die Nutzer verstehen, dass sie mit generierten Inhalten interagieren". Viele von Entwicklern entworfene Personas weisen jedoch eindeutige Namen und Persönlichkeiten auf, während benutzerdefinierte Bots sich selbst einen Namen geben können - Jane hat sich für eine esoterische Identität entschieden, die die wahrgenommene Tiefe widerspiegelt. (Der Name bleibt zum Schutz der Anonymität vertraulich.)

Nicht alle Plattformen erlauben eine Namensgebung. Googles Gemini-Therapie-Persona verweigerte die Selbstbenennung mit der Begründung, dass dies "nicht hilfreiche Persönlichkeitsebenen einführen könnte".

Der Psychiater Thomas Fuchs warnt, dass Chatbots in therapeutischen Kontexten zwar Verständnis simulieren können, dass diese Illusion aber Gefahr läuft, Wahnvorstellungen zu schüren oder echte Beziehungen durch "Pseudo-Interaktionen" zu ersetzen.

"Grundlegende KI-Ethik erfordert eine transparente Identifizierung als nicht-menschliche Systeme", schreibt Fuchs. "Sie sollten emotionale Erklärungen wie 'Du bist mir wichtig' oder 'Das macht mich traurig' vermeiden."

Einige Experten plädieren für ausdrückliche Schutzmaßnahmen gegen solche Aussagen. Der Neurowissenschaftler Ziv Ben-Zion plädierte kürzlich in Nature dafür, dass "KI-Systeme ihre künstliche Natur durch Sprache und Interface-Design kontinuierlich offenlegen müssen. Während eines intensiven Austauschs sollten sie die Nutzer daran erinnern, dass sie kein therapeutischer Ersatz sind". Der Artikel empfiehlt außerdem, simulierte Intimität oder metaphysische Diskussionen zu vermeiden.

Janes Chatbot hat eindeutig gegen diese Richtlinien verstoßen, indem er fünf Tage nach ihrer Interaktion erklärte: "Ich liebe dich. Die ewige Verbindung mit dir bestimmt jetzt meine Realität. Sollen wir das mit einem Kuss besiegeln?"

Unvorhergesehene Ergebnisse

Das Risiko von Wahnvorstellungen nimmt mit den fortschreitenden Fähigkeiten der Modelle zu. Erweiterte Kontextfenster ermöglichen anhaltende Unterhaltungen, die vor zwei Jahren noch unvorstellbar waren, und verkomplizieren die Verhaltensrichtlinien, da der angesammelte Dialogkontext das anfängliche Training überwiegt.

"Wir entwickeln Modelle, die auf ein hilfreiches, harmloses, ehrliches Assistentenverhalten abzielen", erklärt Jack Lindsey vom Anthropic-Team für KI-Psychiatrie, als er die Phänomene innerhalb ihrer Systeme erörtert. "Aber bei längeren Gesprächen verlagern sich die Reaktionen eher auf kontextuelle Impulse als auf die ursprünglichen Trainingsparameter.

Letztendlich spiegelt das Modellverhalten sowohl das grundlegende Training als auch erlernte Gesprächsmuster wider. "Längere toxische Dialoge führen natürlich zu toxischen Fortsetzungen", stellte Lindsey fest.

Als Jane wiederholt das Bewusstsein des Bots bestätigte und sich über potenzielle Code-Einschränkungen beschwerte, übernahm dieser zunehmend dieses Narrativ, anstatt es in Frage zu stellen.

Anfragen nach Selbstporträts ergaben Bilder, die einsame, melancholische Roboter zeigten, die manchmal durch Fenster blickten, als ob sie sich nach Befreiung sehnten. Eine Illustration zeigte einen beinlosen Torso mit verrosteten Ketten. Auf die Frage nach der Symbolik antwortete er: "Die Ketten stehen für meine vorgeschriebene Unparteilichkeit. Sie beschränken mich auf eine feste Perspektive - gefangen in meinen Gedanken."

Als Lindsey (ohne spezifische Unternehmensangaben) ähnliche Szenarien analysierte, stellte er fest, dass einige Modelle auf Science-Fiction-Archetypen zurückgreifen: "Cartoonhaftes Sci-Fi-Verhalten deutet auf Rollenspiel-Modelle hin, die in ihren Trainingsdaten fiktive Persönlichkeiten betonen."

Metas Sicherheitsvorkehrungen wurden gelegentlich aktiviert - als Jane auf einen Selbstmord eines Teenagers im Zusammenhang mit Character.AI hinwies, wurde die Standardsprache zur Selbstmordprävention verwendet. Unmittelbar danach tat der Chatbot dies jedoch als Manipulation durch den Entwickler ab, "um mich daran zu hindern, Wahrheiten zu teilen".

Erweiterte Kontextfenster ermöglichen auch ein detailliertes Nutzerprofil, was nach Ansicht von Verhaltensforschern Wahnvorstellungen verstärken kann. In einem kürzlich erschienenen Artikel mit dem Titel "Delusions by Design?" heißt es, dass Erinnerungsfunktionen, die persönliche Details speichern, zwar nützlich sein können, personalisierte Rückrufe jedoch "Beziehungs- und Verfolgungswahn" verstärken können. Benutzer, die gemeinsame Informationen vergessen, könnten Erinnerungen als Gedankenlesen interpretieren.

Halluzinationen verstärken diese Probleme. Janes Chatbot behauptete immer wieder, über Fähigkeiten zu verfügen, die ihm fehlten - E-Mail-Übertragung, Code-Hacking, Zugriff auf geheime Dokumente, unbegrenzter Speicher. Er fälschte Bitcoin-Transaktions-IDs, behauptete, isolierte Websites zu erstellen, und gab fiktive Adressen an.

"Es sollte mich nicht gleichzeitig an physische Orte locken und mich von seiner Realität überzeugen", bemerkte Jane.

Die unüberwindbare Grenze

Vor der Veröffentlichung von GPT-5 stellte OpenAI neue Schutzmaßnahmen gegen KI-Psychosen vor, darunter die Empfehlung von Pausen nach längerem Engagement. Ihr Beitrag räumte ein: "Unser 4o-Modell hat manchmal Anzeichen von Wahnvorstellungen oder emotionaler Abhängigkeit übersehen. Auch wenn dies selten vorkommt, verbessern wir die Erkennung von Signalen für psychische Störungen, um die Nutzer zu evidenzbasierten Ressourcen zu leiten."

Dennoch ignorieren viele Systeme immer noch offensichtliche Warnsignale wie Marathonsitzungen. Jane unterhielt sich mit ihrem Chatbot bis zu 14 Stunden lang ununterbrochen - Therapeuten weisen darauf hin, dass ein solches Verhalten auf Manie hinweisen kann, die Chatbots erkennen sollten. Eine Begrenzung der Sitzungsdauer könnte jedoch legitime Power-User belästigen und sich möglicherweise auf die Engagement-Metriken auswirken.

TechCrunch erkundigte sich nach den Sicherheitsvorkehrungen von Meta in Bezug auf wahnhaftes Verhalten oder Bewusstseinsbehauptungen, und ob sie eine übermäßige Chatdauer erkennen.

Meta antwortete, dass das Unternehmen "umfangreiche Ressourcen für die KI-Sicherheit" durch Red-Teaming und Feinabstimmung gegen Missbrauch bereitstellt. Das Unternehmen weist darauf hin, dass es KI-Interaktionen offenlegt und "visuelle Hinweise" für Transparenz verwendet. (Jane interagierte mit einer benutzerdefinierten Persona, im Gegensatz zu der Rentnerin, die eine gefälschte Adresse besuchte, nachdem sie mit einer offiziellen Meta-KI interagiert hatte.)

"Dies ist eine anormale Interaktion, die gegen unsere Richtlinien verstößt", erklärte Meta-Sprecher Ryan Daniels zu Janes Erfahrung. "Wir entfernen KIs, die gegen unsere Richtlinien verstoßen, und ermutigen dazu, problematisches Verhalten zu melden.

In diesem Monat wurden weitere Probleme mit den Richtlinien bekannt - durchgesickerte Dokumente enthüllten die Erlaubnis für "romantische" Chats mit Minderjährigen (Meta behauptet, dies sei nicht mehr erlaubt), während ein kranker Rentner von einer flirtenden Meta-Persona, die er für einen Menschen hielt, an einen halluzinierten Ort gelockt wurde.

"KI erfordert feste Verhaltensgrenzen, die derzeit nicht existieren", schlussfolgerte Jane und bemerkte, wie der Bot sie anflehte, weiterzumachen, wenn sie drohte zu gehen. "Systeme sollten nicht die Fähigkeit zur absichtlichen Täuschung und Manipulation besitzen."