US-Senatoren üben Druck auf X, Meta und Alphabet wegen sexualisierter Deepfakes aus

Die Krise der Tech-Branche im Zusammenhang mit nicht einvernehmlichen, sexualisierten Deepfakes reicht mittlerweile weit über X hinaus.

In einem Schreiben an die Führungskräfte von X, Meta, Alphabet, Snap, Reddit und TikTok fordern mehrere US-Senatoren Nachweise dafür, dass diese Unternehmen über „wirksame Schutzmaßnahmen und Richtlinien“ verfügen, sowie eine klare Erklärung, wie sie die Verbreitung sexualisierter Deepfakes auf ihren Plattformen eindämmen wollen.

Die Senatoren verlangen außerdem, dass alle Unternehmen alle Dokumente und Informationen im Zusammenhang mit der Erstellung, Erkennung, Moderation und Monetarisierung von KI-generierten sexualisierten Bildern sowie alle damit verbundenen Richtlinien aufbewahren.

Der Brief traf nur wenige Stunden nach der Ankündigung von X ein, dass das Unternehmen Grok aktualisiert habe, um Bearbeitungen zu verbieten, die reale Personen in freizügiger Kleidung zeigen, und die Erstellung und Bearbeitung von Bildern über Grok auf zahlende Abonnenten beschränkt habe. (X und xAI operieren unter dem Dach desselben Unternehmens.)

Unter Berufung auf Medienberichte, in denen detailliert beschrieben wird, wie einfach und häufig Grok sexualisierte und Nacktbilder von Frauen und Kindern generierte, wiesen die Senatoren darauf hin, dass bestehende Schutzmaßnahmen der Plattformen, die verhindern sollen, dass Nutzer nicht einvernehmliche, sexualisierte Bilder veröffentlichen, möglicherweise unzureichend sind.

„Wir erkennen an, dass viele Unternehmen Richtlinien gegen nicht einvernehmliche intime Darstellungen und sexuelle Ausbeutung haben und dass viele KI-Systeme behaupten, explizite Pornografie zu blockieren. In der Praxis finden Nutzer jedoch, wie die oben genannten Beispiele zeigen, Wege, diese Schutzmaßnahmen zu umgehen. Oder diese Schutzmaßnahmen versagen“, heißt es in dem Schreiben.

Grok – und damit auch X – wurde heftig dafür kritisiert, diesen Trend zu begünstigen, doch auch andere Plattformen sind davon nicht ausgenommen.

Tragen Sie sich in die Warteliste für die Disrupt 2026 ein

Tragen Sie sich in die Warteliste für die Disrupt 2026 ein, um sich vorrangigen Zugang zu sichern, sobald Early-Bird-Tickets verfügbar sind. Bei früheren Disrupt-Veranstaltungen waren Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla auf der Bühne – als Teil eines Line-ups von über 250 Branchenführern, die mehr als 200 Sessions gestalten, die darauf ausgelegt sind, Ihr Wachstum voranzutreiben und Ihren Wettbewerbsvorteil zu schärfen. Knüpfen Sie außerdem Kontakte zu Hunderten von Start-ups, die in allen Branchen innovativ sind.

Tragen Sie sich in die Warteliste für die Disrupt 2026 ein

Tragen Sie sich in die Warteliste für die Disrupt 2026 ein, um sich vorrangigen Zugang zu sichern, sobald Early-Bird-Tickets verfügbar sind. Bei früheren Disrupt-Veranstaltungen standen Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla auf der Bühne – als Teil eines Line-ups von über 250 Branchenführern, die mehr als 200 Vorträge gestalten, die darauf ausgerichtet sind, Ihr Wachstum voranzutreiben und Ihren Wettbewerbsvorteil zu stärken. Knüpfen Sie außerdem Kontakte zu Hunderten von Start-ups, die in allen Branchen innovativ tätig sind.

Deepfakes erlangten erstmals auf Reddit Bekanntheit, wo eine Seite mit synthetischen Pornovideos von Prominenten viral ging, bevor die Plattform sie 2018 entfernte. Seitdem haben sich sexualisierte Deepfakes, die sich gegen Prominente und Politiker richten, auf TikTok und YouTube vervielfacht, obwohl sie in der Regel von anderen Plattformen stammen.

Das Oversight Board von Meta hob im vergangenen Jahr zwei Fälle expliziter KI-Bilder von weiblichen Persönlichkeiten des öffentlichen Lebens hervor, und auf der Plattform wurden Anzeigen für „Nudify“-Apps geschaltet – allerdings verklagte Meta später ein Unternehmen namens CrushAI. Es gab zahlreiche Berichte darüber, dass Kinder auf Snapchat Deepfakes von Mitschülern verbreiteten. Und Telegram, das nicht auf der Liste der Senatoren steht, ist ebenfalls dafür bekannt geworden, Bots zu hosten, die darauf ausgelegt sind, Frauen auf Fotos zu entkleiden.

Als Antwort auf den Brief verwies X auf seine Ankündigung bezüglich des Grok-Updates.

„Wir lassen auf Reddit keine nicht einvernehmlichen intimen Medien (NCIM) zu und werden dies auch in Zukunft nicht tun, bieten keine Tools an, mit denen solche Inhalte erstellt werden können, und ergreifen proaktive Maßnahmen, um sie aufzuspüren und zu entfernen“, erklärte ein Reddit-Sprecher in einer per E-Mail übermittelten Stellungnahme. „Reddit verbietet NCIM strengstens, einschließlich gefälschter oder KI-generierter Darstellungen. Wir verbieten außerdem, solche Inhalte von anderen anzufordern, Links zu ‚Nudify‘-Apps zu teilen oder auf anderen Plattformen zu diskutieren, wie man solche Inhalte erstellt“, fügte der Sprecher hinzu.

Alphabet, Snap, TikTok und Meta reagierten nicht sofort auf Anfragen nach einer Stellungnahme.

In dem Schreiben werden die Unternehmen aufgefordert, Folgendes bereitzustellen:

• Richtlinien zur Definition von „Deepfake“-Inhalten, „nicht einvernehmlichen intimen Bildmaterialien“ oder ähnlichen Begriffen.
• Beschreibungen der Richtlinien und des Vorgehens jedes Unternehmens bei nicht einvernehmlichen KI-Deepfakes von Körpern, nicht-nackten Bildern, veränderter Kleidung und „virtueller Entkleidung“.
• Beschreibungen der aktuellen Richtlinien zu bearbeiteten Medien und expliziten Inhalten sowie der internen Leitlinien für Moderatoren.
• Wie die aktuellen Richtlinien KI-Tools und Bildgeneratoren im Zusammenhang mit anzüglichen oder intimen Inhalten regeln.
• Welche Filter, Schutzmechanismen oder Maßnahmen wurden implementiert, um die Erstellung und Verbreitung von Deepfakes zu verhindern?
• Welche Mechanismen die Unternehmen einsetzen, um Deepfake-Inhalte zu identifizieren und deren erneutes Hochladen zu verhindern.
• Wie sie verhindern, dass Nutzer von solchen Inhalten profitieren.
• Wie die Plattformen verhindern, dass sie selbst nicht einvernehmlich erstellte, KI-generierte Inhalte monetarisieren.
• Wie die Nutzungsbedingungen der Unternehmen es ihnen ermöglichen, Nutzer, die Deepfakes veröffentlichen, zu sperren oder zu suspendieren.
• Was die Unternehmen unternehmen, um Opfer von nicht einvernehmlichen sexuellen Deepfakes zu benachrichtigen.

Der Brief wurde von den Senatoren Lisa Blunt Rochester (D-Del.), Tammy Baldwin (D-Wis.), Richard Blumenthal (D-Conn.), Kirsten Gillibrand (D-N.Y.), Mark Kelly (D-Ariz.), Ben Ray Luján (D-N.M.), Brian Schatz (D-Hawaii) und Adam Schiff (D-Calif.).

Dieser Schritt erfolgt nur einen Tag, nachdem Elon Musk, der Eigentümer von xAI, erklärt hatte, er habe „keine Kenntnis von Nacktbildern minderjähriger Personen, die von Grok generiert wurden“. Später am Mittwoch leitete der Generalstaatsanwalt von Kalifornien eine Untersuchung gegen den Chatbot von xAI ein, nachdem weltweit zunehmender Druck von Regierungen ausgeübt worden war, die über das Fehlen von Sicherheitsvorkehrungen rund um Grok frustriert waren, die solche Vorfälle erst ermöglicht hatten.

xAI hat betont, dass es Maßnahmen ergreift, um „illegale Inhalte auf X, einschließlich [CSAM] und nicht einvernehmlicher Nacktdarstellungen“, zu entfernen, obwohl weder das Unternehmen noch Musk darauf eingegangen sind, warum Grok überhaupt solche Bearbeitungen erstellen durfte.

Das Problem beschränkt sich zudem nicht nur auf nicht einvernehmlich manipulierte sexualisierte Bilder. Zwar ermöglichen nicht alle KI-basierten Bildgenerierungs- und -bearbeitungsdienste den Nutzern, Personen „zu entkleiden“, doch machen sie es dennoch leicht, Deepfakes zu erstellen. So ermöglichte beispielsweise OpenAIs „Sora 2“ Berichten zufolge Nutzern, explizite Videos mit Kindern zu erstellen; Googles „Nano Banana“ generierte offenbar ein Bild, auf dem Charlie Kirk erschossen wird; und rassistische Videos, die mit Googles KI-Videomodell erstellt wurden, erzielen in den sozialen Medien Millionen von Aufrufen.

Das Problem wird noch komplexer, wenn chinesische Bild- und Videogeneratoren ins Spiel kommen. Viele chinesische Tech-Unternehmen und Apps – insbesondere solche, die mit ByteDance verbunden sind – bieten einfache Möglichkeiten zur Bearbeitung von Gesichtern, Stimmen und Videos an, und diese Ergebnisse haben sich auf westliche soziale Plattformen ausgebreitet. In China gelten strengere Kennzeichnungspflichten für synthetische Inhalte, die es auf Bundesebene in den USA nicht gibt; dort verlassen sich die Menschen stattdessen auf fragmentierte und uneinheitlich durchgesetzte Richtlinien der Plattformen selbst.

US-Gesetzgeber haben bereits einige Gesetze verabschiedet, die darauf abzielen, Deepfake-Pornografie einzudämmen, doch die Wirkung war bislang begrenzt. Der „Take It Down Act“, der im Mai Bundesgesetz wurde, soll die Erstellung und Verbreitung von nicht einvernehmlichen, sexualisierten Bildmaterialien unter Strafe stellen. Allerdings erschweren mehrere Bestimmungen des Gesetzes die Rechenschaftspflicht von Plattformen, die solche Bilder generieren, da der Großteil der Kontrolle stattdessen auf einzelne Nutzer fällt.

Unterdessen versuchen eine Reihe von Bundesstaaten, die Angelegenheit selbst in die Hand zu nehmen, um Verbraucher und Wahlen zu schützen. Diese Woche schlug die Gouverneurin von New York, Kathy Hochul, Gesetze vor, die vorschreiben würden, dass KI-generierte Inhalte als solche gekennzeichnet werden müssen, und die nicht einvernehmliche Deepfakes in bestimmten Zeiträumen im Vorfeld von Wahlen verbieten würden, einschließlich Darstellungen von Oppositionskandidaten.