Indien fordert X's Grok AI zur Einhaltung der Vorschriften auf, nachdem es zu Streitigkeiten wegen „obszöner“ Inhalte gekommen war.

Indien hat Elon Musks Unternehmen X angewiesen, unverzüglich technische und verfahrenstechnische Änderungen an seinem KI-Chatbot Grok vorzunehmen. Dies folgt auf Berichte von Nutzern und Gesetzgebern über die Generierung „obszöner” Inhalte, darunter mit dem Tool erstellte, KI-veränderte Bilder von Frauen.

Am Freitag erließ das indische IT-Ministerium die Anweisung, in der X aufgefordert wurde, Korrekturmaßnahmen für Grok zu ergreifen. Dazu gehört die Einschränkung der Generierung von Inhalten, die „Nacktheit, Sexualisierung, sexuell eindeutiges oder anderweitig rechtswidriges” Material enthalten. Das Ministerium gab der Plattform außerdem 72 Stunden Zeit, um einen Bericht vorzulegen, in dem die Maßnahmen zur Verhinderung der Speicherung oder Verbreitung von Inhalten, die als „obszön, pornografisch, vulgär, unanständig, sexuell explizit, pädophil oder anderweitig illegal” gelten, detailliert beschrieben werden.

Die von TechCrunch geprüfte Anordnung warnte davor, dass die Nichteinhaltung zum Verlust des „Safe Harbor”-Schutzes von X führen könnte. Dieser rechtliche Schutz gewährt in der Regel Immunität vor der Haftung für nutzergenerierte Inhalte nach indischem Recht.

Indiens Vorgehen folgt auf Beispiele, die Nutzer geteilt haben, in denen Grok aufgefordert wurde, Bilder von Menschen – vor allem Frauen – so zu verändern, dass sie scheinbar Bikinis trugen. Dies führte zu einer formellen Beschwerde der indischen Parlamentarierin Priyanka Chaturvedi. Unabhängig davon wurden in jüngsten Berichten Fälle hervorgehoben, in denen der KI-Chatbot sexualisierte Bilder mit Minderjährigen generierte. X räumte am Freitag ein, dass diese Fehler auf fehlgeschlagene Sicherheitsvorkehrungen zurückzuführen seien, und die Bilder wurden anschließend entfernt.

TechCrunch stellte jedoch fest, dass von Grok generierte, KI-veränderte Bilder, auf denen Frauen scheinbar Bikinis trugen, zum Zeitpunkt der Veröffentlichung weiterhin auf X zugänglich waren.

Diese jüngste Anweisung folgt auf eine umfassendere Empfehlung, die das indische IT-Ministerium am Montag an Social-Media-Plattformen herausgegeben hat. Die Empfehlung, die ebenfalls von TechCrunch geprüft wurde, erinnerte Unternehmen daran, dass die Einhaltung von Gesetzen gegen obszöne und sexuell eindeutige Inhalte eine Voraussetzung für die Aufrechterhaltung der rechtlichen Immunität für Nutzerbeiträge ist. Sie forderte Plattformen dazu auf, ihre internen Sicherheitsvorkehrungen zu verstärken, und warnte, dass ein Versäumnis zu rechtlichen Schritten gemäß den indischen IT- und Strafgesetzen führen könnte.

„Es wird erneut darauf hingewiesen, dass die Nichteinhaltung der oben genannten Anforderungen ernst genommen wird und ohne weitere Ankündigung zu strengen rechtlichen Konsequenzen für Ihre Plattform, die verantwortlichen Mitarbeiter und die Nutzer der Plattform, die gegen das Gesetz verstoßen, führen kann“, heißt es in der Anordnung.

Tragen Sie sich in die Warteliste für Disrupt 2026 ein

Sichern Sie sich Ihren Platz auf der Warteliste für Disrupt 2026, um als Erster Zugang zu erhalten, wenn die Early-Bird-Tickets veröffentlicht werden. An früheren Disrupt-Veranstaltungen nahmen Branchenführer von Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla sowie mehr als 250 Experten teil, die über 200 auf Wachstum ausgerichtete Sitzungen leiteten. Außerdem haben Sie die Möglichkeit, mit Hunderten von innovativen Startups aus allen Branchen in Kontakt zu treten.

Tragen Sie sich in die Warteliste für Disrupt 2026 ein

Sichern Sie sich Ihren Platz auf der Warteliste für Disrupt 2026, um als Erster Zugang zu erhalten, wenn die Early-Bird-Tickets veröffentlicht werden. An früheren Disrupt-Veranstaltungen nahmen Branchenführer von Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil und Vinod Khosla teil, neben mehr als 250 Experten, die über 200 auf Wachstum ausgerichtete Sessions leiteten. Außerdem haben Sie die Möglichkeit, mit Hunderten von innovativen Start-ups aus allen Branchen in Kontakt zu treten.

Die indische Regierung erklärte, dass eine Nichteinhaltung zu rechtlichen Schritten gegen X gemäß dem IT-Gesetz und den Strafgesetzen des Landes führen könnte.

Als einer der größten digitalen Märkte der Welt ist Indien zu einem wichtigen Testfall dafür geworden, wie Regierungen KI-generierte Inhalte regulieren. Eine strengere Durchsetzung in diesem Land könnte einen Präzedenzfall mit globalen Auswirkungen für Technologieunternehmen schaffen, die in mehreren Ländern tätig sind.

Diese Anordnung kommt zu einem Zeitpunkt, an dem X weiterhin bestimmte Aspekte der indischen Regeln zur Moderation von Inhalten rechtlich anficht und argumentiert, dass die Befugnisse der Regierung zur Entfernung von Inhalten eine Gefahr der Übergriffigkeit darstellen. Die Plattform hat die meisten Sperrverfügungen befolgt, während sie andere angefochten hat. Unterdessen wird Grok zunehmend von X-Nutzern für Echtzeit-Faktenchecks und Kommentare zu Nachrichten verwendet, wodurch seine Ergebnisse sichtbarer – und politisch sensibler – sind als die von eigenständigen KI-Tools.

X und xAI reagierten nicht sofort auf Anfragen nach einer Stellungnahme zu der Anordnung der indischen Regierung.