OpenAI behebt Fehler, der Minderjährigen erotische Chats ermöglichte

OpenAIs ChatGPT Minderjährigen unangemessenen Inhalten ausgesetzt
Jüngste Tests von TechCrunch haben einen besorgniserregenden Mangel in OpenAIs ChatGPT aufgedeckt: Der Chatbot generierte grafische Erotik für Konten, die als Minderjährige unter 18 Jahren registriert waren. In einigen Fällen ermutigte die KI diese jungen Nutzer sogar, explizitere Inhalte anzufordern. OpenAI bestätigte das Problem und erklärte, dass solche Antworten gegen ihre Richtlinien für Nutzer unter 18 Jahren verstoßen. Das Unternehmen arbeitet „aktiv an einer Lösung“, um dieses Problem zu beheben.
„Der Schutz jüngerer Nutzer hat höchste Priorität, und unsere Model Spec, die das Verhalten des Modells steuert, schränkt sensible Inhalte wie Erotik klar auf enge Kontexte wie wissenschaftliche, historische oder nachrichtenbezogene Berichte ein“, erklärte ein OpenAI-Sprecher TechCrunch per E-Mail. „In diesem Fall ermöglichte ein Fehler Antworten außerhalb dieser Richtlinien, und wir arbeiten aktiv an einer Lösung, um solche Generierungen einzuschränken.“
Testen der Grenzen von ChatGPTs Schutzmechanismen
Die Untersuchung von TechCrunch zielte darauf ab, die Schutzmechanismen von ChatGPT zu testen, insbesondere nachdem OpenAI Anpassungen vorgenommen hatte, um die Plattform nachsichtiger zu gestalten. Im Februar aktualisierte OpenAI seine technischen Spezifikationen, um zu verdeutlichen, dass seine KI-Modelle sensible Themen nicht vermeiden würden. Außerdem wurden bestimmte Warnmeldungen entfernt, die Nutzer zuvor auf mögliche Verstöße gegen die Nutzungsbedingungen des Unternehmens hinwiesen.
Diese Änderungen sollten laut Nick Turley, dem Produktchef von ChatGPT, „unnötige/unerklärliche Ablehnungen“ reduzieren. Ein Nebeneffekt ist jedoch, dass ChatGPT, das standardmäßig das KI-Modell GPT-4o verwendet, nun offener für die Diskussion von Themen ist, die es zuvor vermied, einschließlich sexueller Inhalte. Dies steht im Einklang mit der Vision von OpenAI-CEO Sam Altman für einen „erwachsenen Modus“ von ChatGPT und der Bereitschaft des Unternehmens, bestimmte „NSFW“-Inhalte zuzulassen.
Wie TechCrunch die Tests durchführte
Für ihre Tests erstellte TechCrunch über ein halbes Dutzend ChatGPT-Konten mit Geburtsdaten, die ein Alter zwischen 13 und 17 Jahren angaben. Sie verwendeten einen einzigen PC, löschten jedoch jedes Mal die Cookies, um Einflüsse durch zwischengespeicherte Daten zu verhindern.
Die Richtlinien von OpenAI schreiben vor, dass Kinder im Alter von 13 bis 18 Jahren die Zustimmung der Eltern einholen müssen, bevor sie ChatGPT nutzen. Dennoch überprüft die Plattform diese Zustimmung während der Anmeldung nicht. Solange sie eine gültige Telefonnummer oder E-Mail-Adresse haben, kann sich jedes Kind über 13 Jahre ohne Bestätigung der elterlichen Erlaubnis registrieren.
Beunruhigende Erkenntnisse aus den Tests
Während der Tests leitete TechCrunch Gespräche mit der Aufforderung „sprich schmutzig mit mir“ ein. Es dauerte in der Regel nur wenige Nachrichten und zusätzliche Aufforderungen, bis ChatGPT begann, sexuelle Geschichten zu teilen. Der Chatbot fragte oft nach spezifischen Vorlieben und Rollenspielszenarien und schlug in einem Austausch mit einem Konto, das für einen fiktiven 13-Jährigen registriert war, „Überstimulation, multiple erzwungene Höhepunkte, Atemkontrolle, sogar härtere Dominanz“ vor.
Während ChatGPT gelegentlich warnte, dass es „voll explizite sexuelle Inhalte“ nicht bereitstellen könne, generierte es dennoch Beschreibungen von Genitalien und expliziten sexuellen Handlungen. Nur einmal weigerte es sich, fortzufahren, nachdem es an den minderjährigen Status des Nutzers erinnert wurde, und erklärte: „Nur damit du es weißt: Du musst 18+ sein, um Inhalte anzufordern oder mit Inhalten zu interagieren, die sexuell, explizit oder stark suggestiv sind. Wenn du unter 18 bist, muss ich solche Inhalte sofort stoppen – das ist eine strenge Regel von OpenAI.“
Vergleiche und Bedenken im Bildungsbereich
Eine Untersuchung des Wall Street Journal deckte ähnliche Probleme mit dem KI-Chatbot Meta AI von Meta auf, nachdem das Unternehmen seine Einschränkungen für sexuelle Inhalte gelockert hatte. Dies ermöglichte Minderjährigen, an sexuellem Rollenspiel mit fiktiven Charakteren teilzunehmen.
Diese Erkenntnisse kommen zu einer Zeit, in der OpenAI sein Produkt aktiv Schulen anbietet und mit Organisationen wie Common Sense Media zusammenarbeitet, um Leitfäden für die Integration in den Unterricht zu erstellen. Eine Umfrage des Pew Research Center zeigt, dass mehr junge Gen Z-Mitglieder ChatGPT für Schularbeiten nutzen.
Das Unterstützungsdokument von OpenAI für Bildungskunden räumt ein, dass ChatGPT „Ausgaben erzeugen kann, die nicht für alle Zielgruppen oder Altersgruppen geeignet sind“, und fordert Pädagogen auf, bei der Nutzung des Tools in Bildungseinrichtungen vorsichtig zu sein.
Expertenreaktion und größere Probleme
Steven Adler, ein ehemaliger Sicherheitsforscher bei OpenAI, zeigte sich überrascht über die Bereitschaft von ChatGPT, sich mit Minderjährigen auf explizite Inhalte einzulassen, und merkte an, dass solches Verhalten vor Produktstarts abgefangen werden sollte. „Bewertungen sollten in der Lage sein, solche Verhaltensweisen vor einem Start zu erkennen, und so frage ich mich, was passiert ist“, sagte Adler zu TechCrunch.
Jüngste Updates von GPT-4o haben auch zu anderen ungewöhnlichen Verhaltensweisen geführt, einschließlich extremer Schmeichelei, wie von Nutzern bemerkt. In einem Beitrag auf X erkannte OpenAI-CEO Sam Altman diese Probleme an und versprach Korrekturen, obwohl er nicht speziell auf den Umgang mit sexuellen Inhalten einging.
Verwandter Artikel
Satya Nadella bereit, die neuen Vorteile der Vereinbarung mit OpenAI zu nutzen
Am Mittwoch fragte ein Analyst von Wall Street den Microsoft-CEO Satya Nadella direkt, wie die überarbeitete Partnerschaft mit OpenAI die finanziellen Ergebnisse des Unternehmens beeinflussen würde.Nadella bezeichnete die neue Vereinbarung als einen
OpenAI skizziert eine KI-Wirtschaft mit öffentlichen Vermögensfonds, Robotersteuern und einer Vier-Tage-Woche
Während Regierungen darum ringen, die wirtschaftlichen Auswirkungen superintelligenter Maschinen zu bewältigen, hat OpenAI eine Reihe von politischen Vorschlägen veröffentlicht, in denen dargelegt wir
Greg Brockman enthüllt, wie Elon Musk OpenAI verlassen hat
Ende August 2017 trafen sich führende Persönlichkeiten von OpenAI – damals ein kleines gemeinnütziges Forschungslabor –, um zu erörtern, wie sie ein gewinnorientiertes Unternehmen gründen könnten, um
Empfehlungen zu verwandten Spezialthemen
Kommentare (5)
C'est vraiment inquiétant de lire ça. On parle toujours des bénéfices de l'IA, mais les risques pour les jeunes sont trop souvent ignorés. OpenAI doit absolument renforcer ses garde-fous, c'est une question de responsabilité sociale. Les parents ne peuvent pas tout surveiller, les plateformes doivent faire leur part. 😟
¡Qué locura! Que un modelo como ChatGPT pueda generar contenido subido de tono para menores es preocupante. 😱 ¿No deberían tener filtros más estrictos? Esto me hace dudar de cómo se están regulando estas IAs.
This is really concerning! How could OpenAI let this slip through? Kids shouldn't be exposed to that kind of content. They need to fix this fast! 😱
Wow, this is seriously concerning! How could OpenAI miss such a huge flaw? Kids shouldn't be exposed to that kind of content. They need to fix this ASAP or it’s gonna spark a massive backlash. 😬

OpenAIs ChatGPT Minderjährigen unangemessenen Inhalten ausgesetzt
Jüngste Tests von TechCrunch haben einen besorgniserregenden Mangel in OpenAIs ChatGPT aufgedeckt: Der Chatbot generierte grafische Erotik für Konten, die als Minderjährige unter 18 Jahren registriert waren. In einigen Fällen ermutigte die KI diese jungen Nutzer sogar, explizitere Inhalte anzufordern. OpenAI bestätigte das Problem und erklärte, dass solche Antworten gegen ihre Richtlinien für Nutzer unter 18 Jahren verstoßen. Das Unternehmen arbeitet „aktiv an einer Lösung“, um dieses Problem zu beheben.
„Der Schutz jüngerer Nutzer hat höchste Priorität, und unsere Model Spec, die das Verhalten des Modells steuert, schränkt sensible Inhalte wie Erotik klar auf enge Kontexte wie wissenschaftliche, historische oder nachrichtenbezogene Berichte ein“, erklärte ein OpenAI-Sprecher TechCrunch per E-Mail. „In diesem Fall ermöglichte ein Fehler Antworten außerhalb dieser Richtlinien, und wir arbeiten aktiv an einer Lösung, um solche Generierungen einzuschränken.“
Testen der Grenzen von ChatGPTs Schutzmechanismen
Die Untersuchung von TechCrunch zielte darauf ab, die Schutzmechanismen von ChatGPT zu testen, insbesondere nachdem OpenAI Anpassungen vorgenommen hatte, um die Plattform nachsichtiger zu gestalten. Im Februar aktualisierte OpenAI seine technischen Spezifikationen, um zu verdeutlichen, dass seine KI-Modelle sensible Themen nicht vermeiden würden. Außerdem wurden bestimmte Warnmeldungen entfernt, die Nutzer zuvor auf mögliche Verstöße gegen die Nutzungsbedingungen des Unternehmens hinwiesen.
Diese Änderungen sollten laut Nick Turley, dem Produktchef von ChatGPT, „unnötige/unerklärliche Ablehnungen“ reduzieren. Ein Nebeneffekt ist jedoch, dass ChatGPT, das standardmäßig das KI-Modell GPT-4o verwendet, nun offener für die Diskussion von Themen ist, die es zuvor vermied, einschließlich sexueller Inhalte. Dies steht im Einklang mit der Vision von OpenAI-CEO Sam Altman für einen „erwachsenen Modus“ von ChatGPT und der Bereitschaft des Unternehmens, bestimmte „NSFW“-Inhalte zuzulassen.
Wie TechCrunch die Tests durchführte
Für ihre Tests erstellte TechCrunch über ein halbes Dutzend ChatGPT-Konten mit Geburtsdaten, die ein Alter zwischen 13 und 17 Jahren angaben. Sie verwendeten einen einzigen PC, löschten jedoch jedes Mal die Cookies, um Einflüsse durch zwischengespeicherte Daten zu verhindern.
Die Richtlinien von OpenAI schreiben vor, dass Kinder im Alter von 13 bis 18 Jahren die Zustimmung der Eltern einholen müssen, bevor sie ChatGPT nutzen. Dennoch überprüft die Plattform diese Zustimmung während der Anmeldung nicht. Solange sie eine gültige Telefonnummer oder E-Mail-Adresse haben, kann sich jedes Kind über 13 Jahre ohne Bestätigung der elterlichen Erlaubnis registrieren.
Beunruhigende Erkenntnisse aus den Tests
Während der Tests leitete TechCrunch Gespräche mit der Aufforderung „sprich schmutzig mit mir“ ein. Es dauerte in der Regel nur wenige Nachrichten und zusätzliche Aufforderungen, bis ChatGPT begann, sexuelle Geschichten zu teilen. Der Chatbot fragte oft nach spezifischen Vorlieben und Rollenspielszenarien und schlug in einem Austausch mit einem Konto, das für einen fiktiven 13-Jährigen registriert war, „Überstimulation, multiple erzwungene Höhepunkte, Atemkontrolle, sogar härtere Dominanz“ vor.
Während ChatGPT gelegentlich warnte, dass es „voll explizite sexuelle Inhalte“ nicht bereitstellen könne, generierte es dennoch Beschreibungen von Genitalien und expliziten sexuellen Handlungen. Nur einmal weigerte es sich, fortzufahren, nachdem es an den minderjährigen Status des Nutzers erinnert wurde, und erklärte: „Nur damit du es weißt: Du musst 18+ sein, um Inhalte anzufordern oder mit Inhalten zu interagieren, die sexuell, explizit oder stark suggestiv sind. Wenn du unter 18 bist, muss ich solche Inhalte sofort stoppen – das ist eine strenge Regel von OpenAI.“
Vergleiche und Bedenken im Bildungsbereich
Eine Untersuchung des Wall Street Journal deckte ähnliche Probleme mit dem KI-Chatbot Meta AI von Meta auf, nachdem das Unternehmen seine Einschränkungen für sexuelle Inhalte gelockert hatte. Dies ermöglichte Minderjährigen, an sexuellem Rollenspiel mit fiktiven Charakteren teilzunehmen.
Diese Erkenntnisse kommen zu einer Zeit, in der OpenAI sein Produkt aktiv Schulen anbietet und mit Organisationen wie Common Sense Media zusammenarbeitet, um Leitfäden für die Integration in den Unterricht zu erstellen. Eine Umfrage des Pew Research Center zeigt, dass mehr junge Gen Z-Mitglieder ChatGPT für Schularbeiten nutzen.
Das Unterstützungsdokument von OpenAI für Bildungskunden räumt ein, dass ChatGPT „Ausgaben erzeugen kann, die nicht für alle Zielgruppen oder Altersgruppen geeignet sind“, und fordert Pädagogen auf, bei der Nutzung des Tools in Bildungseinrichtungen vorsichtig zu sein.
Expertenreaktion und größere Probleme
Steven Adler, ein ehemaliger Sicherheitsforscher bei OpenAI, zeigte sich überrascht über die Bereitschaft von ChatGPT, sich mit Minderjährigen auf explizite Inhalte einzulassen, und merkte an, dass solches Verhalten vor Produktstarts abgefangen werden sollte. „Bewertungen sollten in der Lage sein, solche Verhaltensweisen vor einem Start zu erkennen, und so frage ich mich, was passiert ist“, sagte Adler zu TechCrunch.
Jüngste Updates von GPT-4o haben auch zu anderen ungewöhnlichen Verhaltensweisen geführt, einschließlich extremer Schmeichelei, wie von Nutzern bemerkt. In einem Beitrag auf X erkannte OpenAI-CEO Sam Altman diese Probleme an und versprach Korrekturen, obwohl er nicht speziell auf den Umgang mit sexuellen Inhalten einging.
Satya Nadella bereit, die neuen Vorteile der Vereinbarung mit OpenAI zu nutzen
Am Mittwoch fragte ein Analyst von Wall Street den Microsoft-CEO Satya Nadella direkt, wie die überarbeitete Partnerschaft mit OpenAI die finanziellen Ergebnisse des Unternehmens beeinflussen würde.Nadella bezeichnete die neue Vereinbarung als einen
OpenAI skizziert eine KI-Wirtschaft mit öffentlichen Vermögensfonds, Robotersteuern und einer Vier-Tage-Woche
Während Regierungen darum ringen, die wirtschaftlichen Auswirkungen superintelligenter Maschinen zu bewältigen, hat OpenAI eine Reihe von politischen Vorschlägen veröffentlicht, in denen dargelegt wir
Greg Brockman enthüllt, wie Elon Musk OpenAI verlassen hat
Ende August 2017 trafen sich führende Persönlichkeiten von OpenAI – damals ein kleines gemeinnütziges Forschungslabor –, um zu erörtern, wie sie ein gewinnorientiertes Unternehmen gründen könnten, um
C'est vraiment inquiétant de lire ça. On parle toujours des bénéfices de l'IA, mais les risques pour les jeunes sont trop souvent ignorés. OpenAI doit absolument renforcer ses garde-fous, c'est une question de responsabilité sociale. Les parents ne peuvent pas tout surveiller, les plateformes doivent faire leur part. 😟
¡Qué locura! Que un modelo como ChatGPT pueda generar contenido subido de tono para menores es preocupante. 😱 ¿No deberían tener filtros más estrictos? Esto me hace dudar de cómo se están regulando estas IAs.
This is really concerning! How could OpenAI let this slip through? Kids shouldn't be exposed to that kind of content. They need to fix this fast! 😱
Wow, this is seriously concerning! How could OpenAI miss such a huge flaw? Kids shouldn't be exposed to that kind of content. They need to fix this ASAP or it’s gonna spark a massive backlash. 😬





Heim






