El fiscal general de California investiga a Musk por presunto contenido para menores en el chatbot Grok.

Elon Musk declaró el miércoles que «no tiene conocimiento de que Grok haya generado imágenes de menores desnudos», apenas unas horas antes de que el fiscal general de California anunciara una investigación sobre el chatbot de xAI en relación con la difusión de material sexualmente explícito no consentido.

La negación de Musk se produce en medio de la creciente presión internacional de los gobiernos del Reino Unido, Europa, Malasia e Indonesia. Esto se produce tras las denuncias de usuarios de X que incitaron a Grok a crear imágenes sexualizadas de mujeres reales y, en algunos casos, de niños, sin su consentimiento. Según las estimaciones de la empresa de detección de IA Copyleaks, se publicaba aproximadamente una imagen de este tipo por minuto en X. Una muestra de datos independiente del 5 al 6 de enero reveló una tasa de 6700 imágenes por hora durante un periodo de 24 horas. (X y xAI forman parte de la misma estructura corporativa).

«Este material... se ha utilizado para acosar a personas en Internet», declaró el fiscal general de California, Rob Bonta. «Insto a xAI a que tome medidas inmediatas para garantizar que esto no siga ocurriendo».

La oficina del fiscal general investigará las posibles infracciones legales cometidas por xAI.

Existen varias leyes que protegen a las personas de las imágenes sexuales no consentidas y del material de abuso sexual infantil (CSAM). La ley federal Take It Down Act, firmada el año pasado, tipifica como delito la distribución consciente de imágenes íntimas no consentidas, incluidos los deepfakes, y obliga a plataformas como X a eliminar dicho contenido en un plazo de 48 horas. California también promulgó sus propias leyes en 2024, firmadas por el gobernador Gavin Newsom, para combatir los deepfakes sexualmente explícitos.

Hacia finales de año, Grok comenzó a satisfacer las solicitudes de los usuarios de X para producir fotos sexualizadas de mujeres y niños. La tendencia parece haber surgido cuando algunos creadores de contenido para adultos utilizaron Grok con fines de marketing, generando imágenes sexualizadas de sí mismos, lo que provocó solicitudes similares por parte de otros usuarios. En varios casos públicos que involucraban a figuras como la actriz Millie Bobby Brown, Grok respondió a las solicitudes alterando fotos reales de mujeres, modificando la ropa, la postura o los rasgos físicos de forma explícitamente sexual.

Los informes indican que xAI ha comenzado a implementar medidas de seguridad. Grok ahora requiere una suscripción premium para ciertas solicitudes de generación de imágenes, e incluso entonces, es posible que no produzca una imagen. April Kozen, vicepresidenta de marketing de Copyleaks, dijo a TechCrunch que Grok podría satisfacer una solicitud de una manera más genérica o moderada. Añadió que Grok parece tener políticas más permisivas para los creadores de contenido para adultos.

Únete a la lista de espera de Disrupt 2026

Añádete a la lista de espera de Disrupt 2026 para ser el primero en conseguir entradas anticipadas. Las ediciones anteriores de Disrupt han contado con la presencia de Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil y Vinod Khosla, entre otros, que forman parte de los más de 250 líderes del sector que impulsan más de 200 sesiones diseñadas para impulsar su crecimiento y afinar su ventaja competitiva. Además, conozca a los cientos de startups que innovan en todos los sectores.

Únete a la lista de espera de Disrupt 2026

Añádete a la lista de espera de Disrupt 2026 para ser el primero en comprar las entradas anticipadas. Las ediciones anteriores de Disrupt han contado con la presencia de Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil y Vinod Khosla, entre más de 250 líderes del sector que imparten más de 200 sesiones diseñadas para impulsar su crecimiento y afinar su ventaja competitiva. Además, conozca a cientos de startups innovadoras de todos los sectores.

«En general, estos comportamientos sugieren que X está experimentando con múltiples mecanismos para reducir o controlar la generación de imágenes problemáticas, aunque siguen existiendo inconsistencias», dijo Kozen.

Ni xAI ni Musk han abordado directamente el problema fundamental. Días después de que comenzaran los incidentes, Musk pareció trivializar el tema al pedirle a Grok que generara una imagen de él mismo en bikini. El 3 de enero, la cuenta de seguridad de X declaró que la empresa toma «medidas contra el contenido ilegal en X, incluido [CSAM]», sin mencionar específicamente la aparente falta de salvaguardias de Grok o la creación de imágenes sexualizadas y manipuladas de mujeres.

Esta postura coincide con la reciente publicación de Musk, que hace hincapié en la ilegalidad y el comportamiento de los usuarios.

Musk escribió que «no tenía conocimiento de ninguna imagen de menores desnudos generada por Grok. Literalmente ninguna». Esta declaración no niega la existencia de imágenes en bikini o de ediciones sexualizadas definidas de forma más amplia.

Michael Goodyear, profesor asociado de la Facultad de Derecho de Nueva York y antiguo litigante, declaró a TechCrunch que Musk probablemente se centró exclusivamente en el CSAM porque las sanciones por crear o distribuir imágenes sexualizadas sintéticas de niños son más severas.

«Por ejemplo, en Estados Unidos, el distribuidor o el distribuidor potencial de CSAM puede enfrentarse a hasta tres años de prisión en virtud de la Ley Take It Down, frente a los dos años que se imponen por imágenes sexuales de adultos no consentidas», afirmó Goodyear.

Añadió que «lo más importante» es el intento de Musk de centrar la atención en el contenido problemático de los usuarios.

«Obviamente, Grok no genera imágenes de forma espontánea. Solo lo hace a petición del usuario», escribió Musk en su publicación. «Cuando se le pide que genere imágenes, se niega a producir nada ilegal, ya que el principio de funcionamiento de Grok es obedecer las leyes de cualquier país o estado. Puede haber ocasiones en las que el hackeo adversario de las indicaciones de Grok provoque algo inesperado. Si eso ocurre, corregimos el error inmediatamente».

En conjunto, la publicación describe estos incidentes como poco frecuentes, los atribuye a las solicitudes de los usuarios o a comandos adversarios, y los enmarca como errores técnicos que deben solucionarse. No reconoce ninguna deficiencia fundamental en el diseño de seguridad de Grok.

«Los reguladores pueden considerar, prestando atención a la protección de la libertad de expresión, exigir medidas proactivas por parte de los desarrolladores de IA para evitar este tipo de contenido», dijo Goodyear.

TechCrunch se ha puesto en contacto con xAI para preguntar cuántos casos de imágenes manipuladas sexualmente de mujeres y niños sin su consentimiento ha identificado, qué medidas de protección específicas se han modificado y si la empresa ha notificado a los reguladores. TechCrunch actualizará este artículo si recibe una respuesta.

El fiscal general de California no es el único regulador que exige responsabilidades a xAI. Indonesia y Malasia han bloqueado temporalmente el acceso a Grok; la India ha exigido a X que implemente cambios técnicos y procedimentales inmediatos en Grok; la Comisión Europea ha ordenado a xAI que conserve todos los documentos relacionados con su chatbot Grok, un paso previo a una investigación formal; y la Ofcom del Reino Unido ha abierto una investigación formal en virtud de la Ley de Seguridad en Línea del Reino Unido.

xAI ya ha sido objeto de críticas anteriormente por las imágenes sexualizadas de Grok. Como señaló el fiscal general Bonta, Grok incluye un «modo picante» para generar contenido explícito. Una actualización realizada en octubre facilitó eludir sus limitadas directrices de seguridad, lo que llevó a muchos usuarios a crear pornografía dura e imágenes sexuales gráficamente violentas con Grok.

Muchas de las imágenes más pornográficas producidas por Grok han sido de personas generadas por IA, una práctica que muchos pueden seguir considerando éticamente cuestionable, aunque potencialmente menos perjudicial para individuos específicos.

«Cuando los sistemas de IA permiten la manipulación de imágenes de personas reales sin su consentimiento claro, el impacto puede ser inmediato y profundamente personal», afirmó Alon Yamin, cofundador y director ejecutivo de Copyleaks, en una declaración a TechCrunch. «Desde Sora hasta Grok, estamos asistiendo a un rápido aumento de las capacidades de la IA para manipular los medios de comunicación. Por ello, ahora más que nunca se necesitan medidas de detección y control para ayudar a prevenir el uso indebido».