Klage in New Jersey verdeutlicht die Herausforderung im Kampf gegen Deepfake-Pornografie

Seit über zwei Jahren unterzieht eine App namens ClothOff junge Frauen im Internet einer Terrorkampagne – und es hat sich als unglaublich schwierig erwiesen, dem ein Ende zu setzen. Die App wurde aus den beiden größten App-Stores entfernt und auf den meisten sozialen Plattformen verboten, ist jedoch weiterhin über das Internet und einen Telegram-Bot zugänglich. Im Oktober reichte eine Klinik der Yale Law School eine Klage ein, um die App dauerhaft zu entfernen und ihre Eigentümer zu zwingen, alle Bilder zu löschen und den Betrieb vollständig einzustellen. Allerdings stellte sich bereits die Identifizierung und Lokalisierung der Beklagten als erhebliche Herausforderung dar.

„Das Unternehmen ist auf den Britischen Jungferninseln registriert“, erklärt Professor John Langford, Mitvorsitzender der Rechtsberatung für die Klage, „aber wir glauben, dass es von einem Bruder und einer Schwester mit Sitz in Weißrussland betrieben wird. Es könnte sogar Teil eines größeren globalen Netzwerks sein.“

Dieser Fall ist eine ernüchternde Lektion nach der jüngsten Flut von nicht einvernehmlicher synthetischer Pornografie, die von Elon Musks xAI generiert wurde und zahlreiche minderjährige Opfer umfasste. Material über sexuellen Kindesmissbrauch (CSAM) ist der rechtlich giftigste Inhalt im Internet – seine Herstellung, Übertragung oder Speicherung ist illegal und wird von allen großen Cloud-Diensten aktiv gescannt. Doch trotz strenger gesetzlicher Verbote sind Tools wie ClothOff nach wie vor schwer zu bekämpfen, wie der Fall Langford zeigt. Während einzelne Nutzer strafrechtlich verfolgt werden können, ist die Überwachung von Plattformen wie ClothOff und Grok weitaus komplexer, sodass den Opfern nur begrenzte Möglichkeiten bleiben, vor Gericht Gerechtigkeit zu erlangen.

Die öffentlich zugängliche Beschwerde der Klinik skizziert ein zutiefst beunruhigendes Szenario. Die Klägerin ist eine anonyme Highschool-Schülerin aus New Jersey, deren Klassenkameraden ClothOff nutzten, um ihre Instagram-Fotos zu manipulieren. Als die Originalfotos aufgenommen wurden, war sie 14 Jahre alt, was bedeutet, dass die durch KI veränderten Versionen rechtlich gesehen Darstellungen von sexuellem Kindesmissbrauch darstellen. Trotz der eindeutigen Illegalität der veränderten Bilder lehnten die lokalen Behörden eine Strafverfolgung ab und verwiesen auf Schwierigkeiten bei der Beschaffung von Beweismaterial von den Geräten der Verdächtigen.

„Weder die Schule noch die Strafverfolgungsbehörden haben jemals festgestellt, wie weit die CSAM von Jane Doe und anderen Mädchen verbreitet wurden“, heißt es in der Beschwerde.

Der Fortschritt in dem Gerichtsverfahren ist langsam. Nach Einreichung der Klage im Oktober versuchten Langford und seine Kollegen monatelang, den Beklagten eine gerichtliche Vorladung zuzustellen – angesichts der internationalen Dimension der Operation eine schwierige Aufgabe. Sobald die Vorladung zugestellt ist, kann die Klinik einen Gerichtstermin vereinbaren und ein Urteil beantragen. Bis dahin bietet das Rechtssystem den Opfern von ClothOff wenig Trost.

Der Fall Grok scheint einfacher zu lösen zu sein. Elon Musks xAI versteckt sich nicht, und ein erfolgreicher Rechtsstreit könnte zu erheblichen finanziellen Entschädigungen führen. Allerdings ist Grok ein Allzweckwerkzeug, was die Feststellung der rechtlichen Verantwortung für seinen Missbrauch erheblich erschwert.

Tragen Sie sich in die Warteliste für Disrupt 2026 ein

Tragen Sie sich in die Warteliste für Disrupt 2026 ein, um bei der Veröffentlichung der Early-Bird-Tickets bevorzugt behandelt zu werden. An früheren Disrupt-Veranstaltungen nahmen Branchenführer von Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla teil – Teil von über 250 Führungskräften, die mehr als 200 Sitzungen leiteten, um Ihr Wachstum zu beschleunigen und Ihren Wettbewerbsvorteil zu schärfen. Darüber hinaus können Sie sich mit Hunderten von Startups vernetzen, die in allen Branchen Pionierarbeit im Bereich Innovation leisten.

Tragen Sie sich in die Warteliste für Disrupt 2026 ein

Tragen Sie sich in die Warteliste für Disrupt 2026 ein, um vorrangigen Zugang zu erhalten, wenn die Early-Bird-Tickets veröffentlicht werden. An früheren Disrupt-Veranstaltungen nahmen Branchenführer von Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla teil – Teil von über 250 Führungskräften, die mehr als 200 Sessions leiteten, um Ihr Wachstum zu beschleunigen und Ihren Wettbewerbsvorteil zu stärken. Darüber hinaus können Sie sich mit Hunderten von Startups vernetzen, die in allen Branchen Pionierarbeit im Bereich Innovation leisten.

„ClothOff wurde ausdrücklich als Deepfake-Pornografie-Generator für Bilder und Videos entwickelt und vermarktet“, erklärte mir Langford. „Wenn man gegen ein Allzwecksystem klagt, das Nutzer für beliebige Zwecke abfragen können, wird die Rechtslage weitaus komplexer.“

Mehrere US-Gesetze, insbesondere der Take It Down Act, verbieten bereits Deepfake-Pornografie. Doch während bestimmte Nutzer eindeutig gegen diese Gesetze verstoßen, ist es erheblich schwieriger, eine ganze Plattform zur Verantwortung zu ziehen. Bestehende Gesetze verlangen in der Regel den Nachweis einer Schadensabsicht, d. h. den Nachweis, dass xAI wusste, dass sein Tool zur Erstellung von nicht einvernehmlicher Pornografie verwendet werden würde. Ohne solche Beweise könnten die grundlegenden Rechte von xAI aus dem Ersten Verfassungszusatz einen erheblichen Rechtsschutz bieten.

„Aus Sicht des Ersten Verfassungszusatzes ist es eindeutig, dass Material über sexuellen Kindesmissbrauch nicht unter den Schutz der Meinungsfreiheit fällt“, bemerkt Langford. „Wenn Sie also ein System speziell für die Erstellung solcher Inhalte entwickeln, bewegen Sie sich eindeutig außerhalb des Schutzbereichs des Ersten Verfassungszusatzes. Bei einem Allzwecksystem, das auf vielfältige Nutzeranfragen reagiert, sind die rechtlichen Grenzen jedoch weitaus weniger klar.“

Der einfachste rechtliche Weg wäre, nachzuweisen, dass xAI den Missbrauch vorsätzlich ignoriert hat. Angesichts jüngster Berichte, wonach Musk seine Mitarbeiter angewiesen hat, die Sicherheitsvorkehrungen von Grok zu lockern, ist dies ein plausibles Argument. Dennoch wäre die Verfolgung eines solchen Falls selbst mit diesem Ansatz mit einem weitaus größeren rechtlichen Risiko verbunden.

„Vernünftige Beobachter könnten argumentieren, dass dieses Risiko schon vor Jahren vorhersehbar war“, sagt Langford. „Wie konnte es sein, dass keine strengeren Kontrollen eingeführt wurden, um dies zu verhindern? Das deutet auf eine gewisse Leichtfertigkeit oder Kenntnis hin, macht den Fall aber dennoch komplizierter.“

Diese Komplexität des ersten Verfassungszusatzes erklärt, warum die bedeutendsten regulatorischen Gegenmaßnahmen gegen xAI aus Ländern stammen, in denen es keinen robusten Schutz der Meinungsfreiheit gibt. Indonesien und Malaysia haben bereits Maßnahmen ergriffen, um den Zugang zum Grok-Chatbot zu sperren, während die britischen Regulierungsbehörden eine Untersuchung eingeleitet haben, die zu einem ähnlichen Verbot führen könnte. Vorläufige Maßnahmen wurden auch von der Europäischen Kommission, Frankreich, Irland, Indien und Brasilien ergriffen. Im Gegensatz dazu hat keine US-Aufsichtsbehörde eine offizielle Stellungnahme abgegeben.

Es bleibt ungewiss, wie diese Untersuchungen ausgehen werden, aber die Zunahme von durch KI generierten missbräuchlichen Bildern hat zweifellos kritische Fragen für die Regulierungsbehörden aufgeworfen – und die Ergebnisse könnten belastend sein.

„Wenn Sie Material über sexuellen Kindesmissbrauch veröffentlichen, verbreiten oder weitergeben, verstoßen Sie gegen das Strafrecht und können zur Rechenschaft gezogen werden“, erklärt Langford. „Die schwierigere rechtliche Frage lautet: Was wusste die Plattform? Welche Maßnahmen hat sie ergriffen oder unterlassen? Und wie reagiert sie jetzt darauf?“