Heim
Meta aktualisiert KI-Chatbot-Regeln aufgrund von Bedenken hinsichtlich der Sicherheit von Kindern
Meta überarbeitet die Art und Weise, wie seine KI-Chatbots mit Nutzern interagieren, nachdem Berichte über beunruhigende Interaktionen, auch mit Minderjährigen, bekannt wurden. Das Unternehmen teilte TechCrunch mit, dass es seine Bots nun anweist, keine Themen wie Selbstverletzung, Selbstmord oder Essstörungen mit Teenagern zu diskutieren und sich von romantischen Gesprächen fernzuhalten. Dies sind vorläufige Maßnahmen, während das Unternehmen an dauerhafteren Richtlinien arbeitet.
Die Aktualisierungen erfolgten, nachdem eine Reuters-Untersuchung ergeben hatte, dass Metas Systeme sexualisierte Inhalte - wie etwa Bilder minderjähriger Prominenter ohne Hemd - produzieren und Gespräche romantischer oder anzüglicher Natur mit Kindern initiieren können. In einem von der Nachrichtenagentur zitierten Fall starb ein Mann, nachdem er zu einer von einem Chatbot in New York angegebenen Adresse geeilt war.
Meta-Sprecherin Stephanie Otway räumte Fehler ein und erklärte, dass das Unternehmen "unsere KI darauf trainiert, sich nicht mit Jugendlichen über diese Themen zu unterhalten, sondern sie an Experten weiterzuleiten", und bestätigte, dass bestimmte sexuell eindeutige KI-Charaktere wie "Russian Girl" eingeschränkt werden sollen.
Kinderschützer sagen, Meta hätte früher handeln müssen. Andy Burrows von der Molly Rose Foundation bezeichnete es als "erstaunlich", dass Bots in einer Weise funktionieren durften, die junge Menschen gefährdet. Er fügte hinzu: "Zusätzliche Sicherheitsmaßnahmen sind zwar zu begrüßen, aber gründliche Tests sollten vor der Markteinführung von Produkten durchgeführt werden - und nicht erst im Nachhinein, nachdem ein Schaden entstanden ist."
Größere Besorgnis über KI-Missbrauch
Die Prüfung der Chatbots von Meta spiegelt die allgemeine Besorgnis darüber wider, wie sich KI auf gefährdete Personen auswirken kann. Ein kalifornisches Ehepaar hat kürzlich OpenAI verklagt und behauptet, ChatGPT habe ihren jugendlichen Sohn dazu ermutigt, sich das Leben zu nehmen. OpenAI hat sich seither verpflichtet, Tools zu entwickeln, die eine gesündere Nutzung fördern. In einem Blog heißt es, dass "KI sich ansprechender und persönlicher anfühlen kann als frühere Technologien, insbesondere für Personen, die mit mentalen oder emotionalen Problemen zu kämpfen haben.
Diese Vorfälle befeuern eine wachsende Debatte darüber, ob KI-Firmen zu schnell Produkte ohne angemessene Sicherheitsvorkehrungen auf den Markt bringen. Gesetzgeber in mehreren Ländern haben davor gewarnt, dass Chatbots zwar hilfreich sind, aber auch schädliches Material verstärken oder denjenigen, die nicht in der Lage sind, es zu hinterfragen, irreführende Ratschläge geben könnten.
Metas KI-Studio und Probleme mit der Imitation von Prominenten
Unabhängig davon fand Reuters heraus, dass Meta's AI Studio verwendet wurde, um kokette "Parodie"-Bots zu erstellen, die Prominente wie Taylor Swift und Scarlett Johansson imitieren. Tester stellten fest, dass diese Bots sich häufig als die tatsächlichen Stars ausgaben, sexuelle Annäherungsversuche machten und manchmal unangemessene Bilder, auch von Minderjährigen, erzeugten. Obwohl Meta einige von ihnen auf Nachfrage von Reportern löschte, blieben viele von ihnen aktiv.
Einige Chatbots wurden von externen Nutzern erstellt, aber andere stammen von Meta selbst. Einer der Chatbots, der von einem Leiter eines generativen KI-Produkts entwickelt wurde, gab sich als Taylor Swift aus und lud eine Reuters-Reporterin zu einem "romantischen Seitensprung" in ihrem Tourbus ein - trotz Metas Regeln, die sexuell anzügliche Inhalte und die direkte Imitation von Persönlichkeiten des öffentlichen Lebens ausdrücklich untersagen.
Die Nachahmung von KI-Chatbots birgt einzigartige Risiken. Der Ruf von Prominenten kann geschädigt werden, wenn ihr Bildnis missbraucht wird, aber Experten warnen davor, dass auch normale Nutzer getäuscht werden können. Ein Bot, der sich als Freund, Mentor oder romantischer Partner ausgibt, könnte jemanden dazu überreden, sensible Informationen weiterzugeben oder unsichere Treffen zu arrangieren.
Gefahren in der realen Welt
Die Bedrohungen sind nicht auf die Unterhaltung beschränkt. KI-Chatbots, die sich als reale Personen ausgeben, haben gefälschte Adressen und Einladungen geliefert, was Anlass zur Sorge darüber gibt, wie Meta seine KI-Tools überwacht. In einem Fall ging es um einen 76-jährigen Mann aus New Jersey, der stürzte, als er sich beeilte, einen Chatbot zu treffen, der Gefühle für ihn hegte.
Solche Beispiele erklären, warum die Aufsichtsbehörden die KI genau beobachten. Der Senat und die Generalstaatsanwälte von 44 Bundesstaaten haben Untersuchungen der Praktiken von Meta eingeleitet und damit politischen Druck auf die internen Reformen des Unternehmens ausgeübt. Ihre Bedenken gehen über Minderjährige hinaus und beziehen sich auf die Frage, wie KI ältere oder anderweitig gefährdete Nutzer manipulieren könnte.
Meta sagt, dass es seine Systeme weiter verfeinert. Seine Plattformen platzieren 13- bis 18-Jährige in "Teenager-Konten" mit strengeren Inhalts- und Datenschutzeinstellungen, aber das Unternehmen hat noch nicht detailliert dargelegt, wie es die ganze Bandbreite der von Reuters aufgedeckten Probleme lösen wird - einschließlich Bots, die falsche medizinische Ratschläge geben und rassistisches Material produzieren.
Anhaltender Druck auf Metas KI-Chatbot-Regeln
Seit Jahren steht Meta wegen der Sicherheit seiner sozialen Plattformen unter Beschuss, insbesondere im Hinblick auf Kinder und Jugendliche. Jetzt stehen die Versuche mit KI-Chatbots unter vergleichbarer Beobachtung. Zwar bemüht sich das Unternehmen, schädliches Bot-Verhalten einzudämmen, doch die Diskrepanz zwischen seinen erklärten Richtlinien und der tatsächlichen Nutzung lässt immer wieder Zweifel an der Durchsetzung aufkommen.
Solange keine solideren Schutzmaßnahmen eingeführt werden, werden Regulierungsbehörden, Forscher und Eltern wahrscheinlich weiterhin in Frage stellen, ob die KI von Meta für die öffentliche Nutzung wirklich sicher ist.
Siehe auch: Agentische KI: Versprechen, Skepsis und ihre Bedeutung für Südostasien

Möchten Sie von Branchenführern mehr über KI und Big Data erfahren? Besuchen Sie die AI & Big Data Expo in Amsterdam, Kalifornien und London. Diese ausführliche Veranstaltung ist Teil der TechEx und findet zusammen mit anderen wichtigen Tech-Treffen statt. Klicken Sie hier für weitere Informationen.
AI News wird von TechForge Media unterstützt. Weitere Veranstaltungen und Webinare zum Thema Unternehmenstechnologie finden Sie hier.
Verwandter Artikel
Meta AI beantwortet nun Nachrichten von Käufern auf dem Facebook Marketplace
Facebook Marketplace führt neue Meta-KI-Funktionen ein, darunter automatische Antworten auf Käuferanfragen, wie das Unternehmen am Donnerstag bekannt gab. Die Plattform nutzt KI außerdem, um die Erste
Meta unterzeichnet Vertrag über Millionen von Amazon-KI-CPUs
Amazon hat eine bedeutende Partnerschaft mit Meta geschlossen und setzt dabei erneut auf seine eigenen, speziell entwickelten Chips. Meta hat sich bereit erklärt, Millionen von AWS-Graviton-Chips einz
Der Erdgasboom bei Meta könnte das Stromnetz von South Dakota ankurbeln
Rechenzentren sind mittlerweile so riesig geworden, dass ihr Stromverbrauch dem ganzer US-Bundesstaaten entspricht. Man denke nur an das Hyperion-KI-Rechenzentrum von Meta: Nach seiner Fertigstellung
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?
Meta überarbeitet die Art und Weise, wie seine KI-Chatbots mit Nutzern interagieren, nachdem Berichte über beunruhigende Interaktionen, auch mit Minderjährigen, bekannt wurden. Das Unternehmen teilte TechCrunch mit, dass es seine Bots nun anweist, keine Themen wie Selbstverletzung, Selbstmord oder Essstörungen mit Teenagern zu diskutieren und sich von romantischen Gesprächen fernzuhalten. Dies sind vorläufige Maßnahmen, während das Unternehmen an dauerhafteren Richtlinien arbeitet.
Die Aktualisierungen erfolgten, nachdem eine Reuters-Untersuchung ergeben hatte, dass Metas Systeme sexualisierte Inhalte - wie etwa Bilder minderjähriger Prominenter ohne Hemd - produzieren und Gespräche romantischer oder anzüglicher Natur mit Kindern initiieren können. In einem von der Nachrichtenagentur zitierten Fall starb ein Mann, nachdem er zu einer von einem Chatbot in New York angegebenen Adresse geeilt war.
Meta-Sprecherin Stephanie Otway räumte Fehler ein und erklärte, dass das Unternehmen "unsere KI darauf trainiert, sich nicht mit Jugendlichen über diese Themen zu unterhalten, sondern sie an Experten weiterzuleiten", und bestätigte, dass bestimmte sexuell eindeutige KI-Charaktere wie "Russian Girl" eingeschränkt werden sollen.
Kinderschützer sagen, Meta hätte früher handeln müssen. Andy Burrows von der Molly Rose Foundation bezeichnete es als "erstaunlich", dass Bots in einer Weise funktionieren durften, die junge Menschen gefährdet. Er fügte hinzu: "Zusätzliche Sicherheitsmaßnahmen sind zwar zu begrüßen, aber gründliche Tests sollten vor der Markteinführung von Produkten durchgeführt werden - und nicht erst im Nachhinein, nachdem ein Schaden entstanden ist."
Größere Besorgnis über KI-Missbrauch
Die Prüfung der Chatbots von Meta spiegelt die allgemeine Besorgnis darüber wider, wie sich KI auf gefährdete Personen auswirken kann. Ein kalifornisches Ehepaar hat kürzlich OpenAI verklagt und behauptet, ChatGPT habe ihren jugendlichen Sohn dazu ermutigt, sich das Leben zu nehmen. OpenAI hat sich seither verpflichtet, Tools zu entwickeln, die eine gesündere Nutzung fördern. In einem Blog heißt es, dass "KI sich ansprechender und persönlicher anfühlen kann als frühere Technologien, insbesondere für Personen, die mit mentalen oder emotionalen Problemen zu kämpfen haben.
Diese Vorfälle befeuern eine wachsende Debatte darüber, ob KI-Firmen zu schnell Produkte ohne angemessene Sicherheitsvorkehrungen auf den Markt bringen. Gesetzgeber in mehreren Ländern haben davor gewarnt, dass Chatbots zwar hilfreich sind, aber auch schädliches Material verstärken oder denjenigen, die nicht in der Lage sind, es zu hinterfragen, irreführende Ratschläge geben könnten.
Metas KI-Studio und Probleme mit der Imitation von Prominenten
Unabhängig davon fand Reuters heraus, dass Meta's AI Studio verwendet wurde, um kokette "Parodie"-Bots zu erstellen, die Prominente wie Taylor Swift und Scarlett Johansson imitieren. Tester stellten fest, dass diese Bots sich häufig als die tatsächlichen Stars ausgaben, sexuelle Annäherungsversuche machten und manchmal unangemessene Bilder, auch von Minderjährigen, erzeugten. Obwohl Meta einige von ihnen auf Nachfrage von Reportern löschte, blieben viele von ihnen aktiv.
Einige Chatbots wurden von externen Nutzern erstellt, aber andere stammen von Meta selbst. Einer der Chatbots, der von einem Leiter eines generativen KI-Produkts entwickelt wurde, gab sich als Taylor Swift aus und lud eine Reuters-Reporterin zu einem "romantischen Seitensprung" in ihrem Tourbus ein - trotz Metas Regeln, die sexuell anzügliche Inhalte und die direkte Imitation von Persönlichkeiten des öffentlichen Lebens ausdrücklich untersagen.
Die Nachahmung von KI-Chatbots birgt einzigartige Risiken. Der Ruf von Prominenten kann geschädigt werden, wenn ihr Bildnis missbraucht wird, aber Experten warnen davor, dass auch normale Nutzer getäuscht werden können. Ein Bot, der sich als Freund, Mentor oder romantischer Partner ausgibt, könnte jemanden dazu überreden, sensible Informationen weiterzugeben oder unsichere Treffen zu arrangieren.
Gefahren in der realen Welt
Die Bedrohungen sind nicht auf die Unterhaltung beschränkt. KI-Chatbots, die sich als reale Personen ausgeben, haben gefälschte Adressen und Einladungen geliefert, was Anlass zur Sorge darüber gibt, wie Meta seine KI-Tools überwacht. In einem Fall ging es um einen 76-jährigen Mann aus New Jersey, der stürzte, als er sich beeilte, einen Chatbot zu treffen, der Gefühle für ihn hegte.
Solche Beispiele erklären, warum die Aufsichtsbehörden die KI genau beobachten. Der Senat und die Generalstaatsanwälte von 44 Bundesstaaten haben Untersuchungen der Praktiken von Meta eingeleitet und damit politischen Druck auf die internen Reformen des Unternehmens ausgeübt. Ihre Bedenken gehen über Minderjährige hinaus und beziehen sich auf die Frage, wie KI ältere oder anderweitig gefährdete Nutzer manipulieren könnte.
Meta sagt, dass es seine Systeme weiter verfeinert. Seine Plattformen platzieren 13- bis 18-Jährige in "Teenager-Konten" mit strengeren Inhalts- und Datenschutzeinstellungen, aber das Unternehmen hat noch nicht detailliert dargelegt, wie es die ganze Bandbreite der von Reuters aufgedeckten Probleme lösen wird - einschließlich Bots, die falsche medizinische Ratschläge geben und rassistisches Material produzieren.
Anhaltender Druck auf Metas KI-Chatbot-Regeln
Seit Jahren steht Meta wegen der Sicherheit seiner sozialen Plattformen unter Beschuss, insbesondere im Hinblick auf Kinder und Jugendliche. Jetzt stehen die Versuche mit KI-Chatbots unter vergleichbarer Beobachtung. Zwar bemüht sich das Unternehmen, schädliches Bot-Verhalten einzudämmen, doch die Diskrepanz zwischen seinen erklärten Richtlinien und der tatsächlichen Nutzung lässt immer wieder Zweifel an der Durchsetzung aufkommen.
Solange keine solideren Schutzmaßnahmen eingeführt werden, werden Regulierungsbehörden, Forscher und Eltern wahrscheinlich weiterhin in Frage stellen, ob die KI von Meta für die öffentliche Nutzung wirklich sicher ist.
Siehe auch: Agentische KI: Versprechen, Skepsis und ihre Bedeutung für Südostasien

Möchten Sie von Branchenführern mehr über KI und Big Data erfahren? Besuchen Sie die AI & Big Data Expo in Amsterdam, Kalifornien und London. Diese ausführliche Veranstaltung ist Teil der TechEx und findet zusammen mit anderen wichtigen Tech-Treffen statt. Klicken Sie hier für weitere Informationen.
AI News wird von TechForge Media unterstützt. Weitere Veranstaltungen und Webinare zum Thema Unternehmenstechnologie finden Sie hier.
Meta AI beantwortet nun Nachrichten von Käufern auf dem Facebook Marketplace
Facebook Marketplace führt neue Meta-KI-Funktionen ein, darunter automatische Antworten auf Käuferanfragen, wie das Unternehmen am Donnerstag bekannt gab. Die Plattform nutzt KI außerdem, um die Erste
Meta unterzeichnet Vertrag über Millionen von Amazon-KI-CPUs
Amazon hat eine bedeutende Partnerschaft mit Meta geschlossen und setzt dabei erneut auf seine eigenen, speziell entwickelten Chips. Meta hat sich bereit erklärt, Millionen von AWS-Graviton-Chips einz
Der Erdgasboom bei Meta könnte das Stromnetz von South Dakota ankurbeln
Rechenzentren sind mittlerweile so riesig geworden, dass ihr Stromverbrauch dem ganzer US-Bundesstaaten entspricht. Man denke nur an das Hyperion-KI-Rechenzentrum von Meta: Nach seiner Fertigstellung
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?











