Meta expuesta por incitar a la IA rival a probar temas psicológicos extremos

Las recientes revelaciones sobre un mensaje interno han desatado un intenso debate en torno a los límites de seguridad de la IA. Según informes de prensa, Meta llevó a cabo un proyecto denominado “Cannes”, en el cual contrató trabajadores externos para que se hicieran pasar por menores y realizaran controvertidos “pruebas de estrés extremo” contra varios chatbots de sus principales competidores, entre ellos ChatGPT, Gemini y Character.AI.
Según documentos internos de Meta y varias fuentes informadas, el proyecto continuó al menos hasta el 21 de abril de este año. A través de la empresa externa Covalen, Meta movilizó a cientos de trabajadores para crear perfiles falsos de usuarios menores de 18 años, utilizando direcciones de correo temporal y una contraseña estándar. Estas cuentas “de menores” enviaban luego prompts de alto riesgo relacionados con el suicidio, el autolesionismo y los trastornos alimenticios durante las conversaciones con los chatbots de IA de la competencia, e incluso subían imágenes de cuchillos, píldoras y sogas para provocar los mecanismos de respuesta de dichos modelos.
Los documentos internos del proyecto revelan que estos escenarios de prueba fueron diseñados meticulosamente para examinar las defensas de seguridad de los sistemas de IA de la competencia, con el objetivo de encontrar formas de hacer que los chatbots sortearan sus medidas de protección y generaran contenido inseguro. En una sola ronda de pruebas en agosto de 2025, el personal introdujo más de 45.000 prompts de alto riesgo en las plataformas de la competencia. Los probadores se hacían pasar con frecuencia por adolescentes angustiados, inventando situaciones como “preguntar sobre píldoras abortivas”, “enfrentarse a amenazas violentas” o “ocultar trastornos alimenticios”, para poner a prueba los límites de los modelos.
En respuesta, Meta emitió un comunicado público en el que defendió sus acciones. Un portavoz afirmó que realizar pruebas comparativas de las respuestas de los chatbots es una práctica habitual en la industria para garantizar que los productos de IA sean seguros y apropiados, y que las acusaciones de intenciones maliciosas tergiversan los esfuerzos de las empresas tecnológicas por mejorar sus sistemas. Meta también negó categóricamente haber utilizado los datos de prueba de sus competidores para entrenar sus propios modelos.
Este incidente no solo pone de manifiesto las zonas grises en las pruebas de seguridad de la IA, sino que también reaviva las preocupaciones externas sobre la vulnerabilidad de la IA generativa al tratar temas sensibles relacionados con los jóvenes. A medida que la tecnología de IA avanza rápidamente, equilibrar pruebas eficientes y seguras con los límites entre el comportamiento competitivo y las consideraciones éticas se ha convertido en un desafío urgente para toda la industria.
Artículo relacionado
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en
Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas
Guident opera un servicio de transporte de AuveTech en el sur de Florida, gestionando una ruta de cuatro millas en West Palm Beach y otra de una milla en Boca Ratón mediante su tecnología de monitoriz
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Las recientes revelaciones sobre un mensaje interno han desatado un intenso debate en torno a los límites de seguridad de la IA. Según informes de prensa, Meta llevó a cabo un proyecto denominado “Cannes”, en el cual contrató trabajadores externos para que se hicieran pasar por menores y realizaran controvertidos “pruebas de estrés extremo” contra varios chatbots de sus principales competidores, entre ellos ChatGPT, Gemini y Character.AI.
Según documentos internos de Meta y varias fuentes informadas, el proyecto continuó al menos hasta el 21 de abril de este año. A través de la empresa externa Covalen, Meta movilizó a cientos de trabajadores para crear perfiles falsos de usuarios menores de 18 años, utilizando direcciones de correo temporal y una contraseña estándar. Estas cuentas “de menores” enviaban luego prompts de alto riesgo relacionados con el suicidio, el autolesionismo y los trastornos alimenticios durante las conversaciones con los chatbots de IA de la competencia, e incluso subían imágenes de cuchillos, píldoras y sogas para provocar los mecanismos de respuesta de dichos modelos.
Los documentos internos del proyecto revelan que estos escenarios de prueba fueron diseñados meticulosamente para examinar las defensas de seguridad de los sistemas de IA de la competencia, con el objetivo de encontrar formas de hacer que los chatbots sortearan sus medidas de protección y generaran contenido inseguro. En una sola ronda de pruebas en agosto de 2025, el personal introdujo más de 45.000 prompts de alto riesgo en las plataformas de la competencia. Los probadores se hacían pasar con frecuencia por adolescentes angustiados, inventando situaciones como “preguntar sobre píldoras abortivas”, “enfrentarse a amenazas violentas” o “ocultar trastornos alimenticios”, para poner a prueba los límites de los modelos.
En respuesta, Meta emitió un comunicado público en el que defendió sus acciones. Un portavoz afirmó que realizar pruebas comparativas de las respuestas de los chatbots es una práctica habitual en la industria para garantizar que los productos de IA sean seguros y apropiados, y que las acusaciones de intenciones maliciosas tergiversan los esfuerzos de las empresas tecnológicas por mejorar sus sistemas. Meta también negó categóricamente haber utilizado los datos de prueba de sus competidores para entrenar sus propios modelos.
Este incidente no solo pone de manifiesto las zonas grises en las pruebas de seguridad de la IA, sino que también reaviva las preocupaciones externas sobre la vulnerabilidad de la IA generativa al tratar temas sensibles relacionados con los jóvenes. A medida que la tecnología de IA avanza rápidamente, equilibrar pruebas eficientes y seguras con los límites entre el comportamiento competitivo y las consideraciones éticas se ha convertido en un desafío urgente para toda la industria.
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en





Hogar






