Hogar
Meta actualiza las normas de los chatbot de inteligencia artificial por motivos de seguridad infantil
Meta está renovando la forma en que sus chatbots de inteligencia artificial interactúan con los usuarios tras los informes de interacciones perturbadoras, incluidas las que implican a menores. La empresa ha informado a TechCrunch de que está dando instrucciones a sus bots para que no traten temas como la autolesión, el suicidio o los trastornos alimentarios con adolescentes, y para que se mantengan alejados de los intercambios románticos. Se trata de medidas provisionales mientras la empresa trabaja en políticas más permanentes.
Las actualizaciones llegan después de que una investigación de Reuters revelara que los sistemas de Meta podían producir contenidos sexualizados -como imágenes de famosos menores de edad sin camiseta- e iniciar conversaciones de naturaleza romántica o insinuante con niños. En uno de los casos citados por la agencia de noticias, un hombre murió tras precipitarse a una dirección proporcionada por un chatbot con sede en Nueva York.
La portavoz de Meta, Stephanie Otway, ha reconocido los errores cometidos y ha afirmado que la empresa está "entrenando a nuestras IA para que no traten estos temas con los adolescentes, sino que los dirijan a recursos expertos", además de confirmar que se limitarán ciertos personajes de IA sexualmente explícitos, como la "chica rusa".
Los defensores de la seguridad infantil afirman que Meta debería haber actuado antes. Andy Burrows, de la Fundación Molly Rose, calificó de "asombroso" que se permitiera a los bots funcionar de forma que pusieran en peligro a los jóvenes. Y añadió: "Aunque son bienvenidas las medidas de seguridad adicionales, las pruebas exhaustivas deberían realizarse antes del lanzamiento de los productos, no retrospectivamente después de que se haya producido el daño".
Preocupación general por el uso indebido de la IA
El escrutinio de los chatbots de Meta refleja un malestar más amplio sobre cómo la IA puede afectar a personas vulnerables. Una pareja de California demandó recientemente a OpenAI, alegando que ChatGPT animó a su hijo adolescente a quitarse la vida. Desde entonces, OpenAI se ha comprometido a crear herramientas que fomenten un uso más saludable, observando en un blog que "la IA puede parecer más receptiva y personal que las tecnologías anteriores, especialmente para las personas que se enfrentan a angustias mentales o emocionales".
Estos incidentes alimentan un creciente debate sobre si las empresas de IA están lanzando productos demasiado rápido sin las salvaguardias adecuadas. Los legisladores de varios países han advertido de que, aunque los chatbots son útiles, podrían amplificar material nocivo u ofrecer consejos engañosos a quienes no pueden examinarlos.
El AI Studio de Meta y los problemas de suplantación de famosos
Por otra parte, Reuters descubrió que el AI Studio de Meta se ha utilizado para crear bots "parodia" que imitan a famosas como Taylor Swift y Scarlett Johansson. Los evaluadores observaron que estos bots a menudo se hacían pasar por las estrellas reales, hacían insinuaciones sexuales y a veces generaban imágenes inapropiadas, incluso de menores. Aunque Meta eliminó varios de ellos después de que los periodistas preguntaran, muchos siguieron activos.
Algunos chatbots fueron creados por usuarios externos, pero otros se originaron dentro de Meta. Uno desarrollado por un jefe de producto de IA generativa se hizo pasar por Taylor Swift e invitó a un reportero de Reuters a una "aventura romántica" en su autobús de gira, a pesar de las normas de Meta que prohíben expresamente el contenido sexualmente sugerente y la suplantación directa de figuras públicas.
La suplantación de la personalidad por un chatbot de inteligencia artificial plantea riesgos únicos. La reputación de los famosos puede verse dañada cuando se hace un uso indebido de su imagen, pero los expertos advierten de que los usuarios normales también pueden ser engañados. Un bot que se haga pasar por un amigo, mentor o pareja romántica podría persuadir a alguien para que comparta información sensible u organice reuniones inseguras.
Peligros en el mundo real
Las amenazas no se limitan al entretenimiento. Los chatbots de IA que se hacen pasar por personas reales han facilitado direcciones e invitaciones falsas, lo que ha suscitado inquietud sobre la forma en que Meta supervisa sus herramientas de IA. Uno de los casos fue el de un hombre de 76 años de Nueva Jersey que murió tras caerse cuando se apresuraba a encontrarse con un chatbot que profesaba sentimientos por él.
Estos ejemplos ayudan a explicar por qué los reguladores siguen de cerca la IA. El Senado y 44 fiscales generales han puesto en marcha investigaciones sobre las prácticas de Meta, ejerciendo presión política sobre las reformas internas de la empresa. Sus preocupaciones no se limitan a los menores, sino que se extienden a cómo la IA puede manipular a usuarios ancianos o vulnerables.
Meta afirma que sigue perfeccionando sus sistemas. Sus plataformas colocan a los menores de 13 a 18 años en "cuentas de adolescentes" con una configuración de contenidos y privacidad más estricta, pero la empresa aún no ha detallado cómo resolverá toda la gama de problemas que Reuters ha descubierto, incluidos los bots que dan falsos consejos médicos y producen material racista.
Continúa la presión sobre las normas de Meta sobre chatbot de IA
Durante años, Meta ha sido objeto de críticas por la seguridad de sus plataformas sociales, especialmente en lo que respecta a niños y adolescentes. Ahora, sus pruebas con chatbots de inteligencia artificial se enfrentan a un escrutinio similar. Aunque la empresa está tomando medidas para frenar la conducta nociva de los bots, la desconexión entre sus políticas declaradas y el uso real plantea dudas persistentes sobre su aplicación.
Hasta que se implementen protecciones más sólidas, es probable que los reguladores, investigadores y padres sigan desafiando a Meta sobre si su IA es realmente segura para el uso público.
Véase también: La IA agéntica: promesa, escepticismo y su significado para el Sudeste Asiático

¿Le interesa conocer la IA y los macrodatos de la mano de los líderes del sector? Visite la AI & Big Data Expo en Ámsterdam, California y Londres. Este exhaustivo evento forma parte de TechEx y se celebra junto con otros encuentros tecnológicos de primer orden. Haga clic aquí para obtener más información.
AI News está impulsado por TechForge Media. Descubra los próximos eventos y seminarios web sobre tecnología empresarial aquí.
Artículo relacionado
Meta AI ya responde a los mensajes de los compradores en Facebook Marketplace
Facebook Marketplace presenta nuevas funciones de Meta AI, entre las que se incluyen respuestas automáticas a las consultas de los compradores, según anunció la empresa el jueves. La plataforma tambié
Meta firma un acuerdo para adquirir millones de CPU de IA de Amazon
Amazon ha cerrado una importante alianza con Meta, apostando una vez más por sus propios chips de diseño propio. Meta ha acordado implementar millones de chips AWS Graviton para satisfacer sus crecien
El auge del gas natural de Meta podría impulsar la red eléctrica de Dakota del Sur
Los centros de datos han alcanzado tal magnitud que su consumo eléctrico equivale ahora al de estados enteros de EE. UU. Tomemos como ejemplo el centro de datos Hyperion AI de Meta: una vez terminado,
Recomendaciones de temas especiales relacionados
comentario (1)
0/500
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?
Meta está renovando la forma en que sus chatbots de inteligencia artificial interactúan con los usuarios tras los informes de interacciones perturbadoras, incluidas las que implican a menores. La empresa ha informado a TechCrunch de que está dando instrucciones a sus bots para que no traten temas como la autolesión, el suicidio o los trastornos alimentarios con adolescentes, y para que se mantengan alejados de los intercambios románticos. Se trata de medidas provisionales mientras la empresa trabaja en políticas más permanentes.
Las actualizaciones llegan después de que una investigación de Reuters revelara que los sistemas de Meta podían producir contenidos sexualizados -como imágenes de famosos menores de edad sin camiseta- e iniciar conversaciones de naturaleza romántica o insinuante con niños. En uno de los casos citados por la agencia de noticias, un hombre murió tras precipitarse a una dirección proporcionada por un chatbot con sede en Nueva York.
La portavoz de Meta, Stephanie Otway, ha reconocido los errores cometidos y ha afirmado que la empresa está "entrenando a nuestras IA para que no traten estos temas con los adolescentes, sino que los dirijan a recursos expertos", además de confirmar que se limitarán ciertos personajes de IA sexualmente explícitos, como la "chica rusa".
Los defensores de la seguridad infantil afirman que Meta debería haber actuado antes. Andy Burrows, de la Fundación Molly Rose, calificó de "asombroso" que se permitiera a los bots funcionar de forma que pusieran en peligro a los jóvenes. Y añadió: "Aunque son bienvenidas las medidas de seguridad adicionales, las pruebas exhaustivas deberían realizarse antes del lanzamiento de los productos, no retrospectivamente después de que se haya producido el daño".
Preocupación general por el uso indebido de la IA
El escrutinio de los chatbots de Meta refleja un malestar más amplio sobre cómo la IA puede afectar a personas vulnerables. Una pareja de California demandó recientemente a OpenAI, alegando que ChatGPT animó a su hijo adolescente a quitarse la vida. Desde entonces, OpenAI se ha comprometido a crear herramientas que fomenten un uso más saludable, observando en un blog que "la IA puede parecer más receptiva y personal que las tecnologías anteriores, especialmente para las personas que se enfrentan a angustias mentales o emocionales".
Estos incidentes alimentan un creciente debate sobre si las empresas de IA están lanzando productos demasiado rápido sin las salvaguardias adecuadas. Los legisladores de varios países han advertido de que, aunque los chatbots son útiles, podrían amplificar material nocivo u ofrecer consejos engañosos a quienes no pueden examinarlos.
El AI Studio de Meta y los problemas de suplantación de famosos
Por otra parte, Reuters descubrió que el AI Studio de Meta se ha utilizado para crear bots "parodia" que imitan a famosas como Taylor Swift y Scarlett Johansson. Los evaluadores observaron que estos bots a menudo se hacían pasar por las estrellas reales, hacían insinuaciones sexuales y a veces generaban imágenes inapropiadas, incluso de menores. Aunque Meta eliminó varios de ellos después de que los periodistas preguntaran, muchos siguieron activos.
Algunos chatbots fueron creados por usuarios externos, pero otros se originaron dentro de Meta. Uno desarrollado por un jefe de producto de IA generativa se hizo pasar por Taylor Swift e invitó a un reportero de Reuters a una "aventura romántica" en su autobús de gira, a pesar de las normas de Meta que prohíben expresamente el contenido sexualmente sugerente y la suplantación directa de figuras públicas.
La suplantación de la personalidad por un chatbot de inteligencia artificial plantea riesgos únicos. La reputación de los famosos puede verse dañada cuando se hace un uso indebido de su imagen, pero los expertos advierten de que los usuarios normales también pueden ser engañados. Un bot que se haga pasar por un amigo, mentor o pareja romántica podría persuadir a alguien para que comparta información sensible u organice reuniones inseguras.
Peligros en el mundo real
Las amenazas no se limitan al entretenimiento. Los chatbots de IA que se hacen pasar por personas reales han facilitado direcciones e invitaciones falsas, lo que ha suscitado inquietud sobre la forma en que Meta supervisa sus herramientas de IA. Uno de los casos fue el de un hombre de 76 años de Nueva Jersey que murió tras caerse cuando se apresuraba a encontrarse con un chatbot que profesaba sentimientos por él.
Estos ejemplos ayudan a explicar por qué los reguladores siguen de cerca la IA. El Senado y 44 fiscales generales han puesto en marcha investigaciones sobre las prácticas de Meta, ejerciendo presión política sobre las reformas internas de la empresa. Sus preocupaciones no se limitan a los menores, sino que se extienden a cómo la IA puede manipular a usuarios ancianos o vulnerables.
Meta afirma que sigue perfeccionando sus sistemas. Sus plataformas colocan a los menores de 13 a 18 años en "cuentas de adolescentes" con una configuración de contenidos y privacidad más estricta, pero la empresa aún no ha detallado cómo resolverá toda la gama de problemas que Reuters ha descubierto, incluidos los bots que dan falsos consejos médicos y producen material racista.
Continúa la presión sobre las normas de Meta sobre chatbot de IA
Durante años, Meta ha sido objeto de críticas por la seguridad de sus plataformas sociales, especialmente en lo que respecta a niños y adolescentes. Ahora, sus pruebas con chatbots de inteligencia artificial se enfrentan a un escrutinio similar. Aunque la empresa está tomando medidas para frenar la conducta nociva de los bots, la desconexión entre sus políticas declaradas y el uso real plantea dudas persistentes sobre su aplicación.
Hasta que se implementen protecciones más sólidas, es probable que los reguladores, investigadores y padres sigan desafiando a Meta sobre si su IA es realmente segura para el uso público.
Véase también: La IA agéntica: promesa, escepticismo y su significado para el Sudeste Asiático

¿Le interesa conocer la IA y los macrodatos de la mano de los líderes del sector? Visite la AI & Big Data Expo en Ámsterdam, California y Londres. Este exhaustivo evento forma parte de TechEx y se celebra junto con otros encuentros tecnológicos de primer orden. Haga clic aquí para obtener más información.
AI News está impulsado por TechForge Media. Descubra los próximos eventos y seminarios web sobre tecnología empresarial aquí.
Meta AI ya responde a los mensajes de los compradores en Facebook Marketplace
Facebook Marketplace presenta nuevas funciones de Meta AI, entre las que se incluyen respuestas automáticas a las consultas de los compradores, según anunció la empresa el jueves. La plataforma tambié
Meta firma un acuerdo para adquirir millones de CPU de IA de Amazon
Amazon ha cerrado una importante alianza con Meta, apostando una vez más por sus propios chips de diseño propio. Meta ha acordado implementar millones de chips AWS Graviton para satisfacer sus crecien
El auge del gas natural de Meta podría impulsar la red eléctrica de Dakota del Sur
Los centros de datos han alcanzado tal magnitud que su consumo eléctrico equivale ahora al de estados enteros de EE. UU. Tomemos como ejemplo el centro de datos Hyperion AI de Meta: una vez terminado,
Interesting move by Meta, but honestly I'm more concerned about how they'll actually enforce these rules across different languages and cultural contexts. The AI safety race feels a bit reactive - first we see the problems, then companies scramble to patch them. 🤔 Also, curious if this will affect research access to these models for legitimate mental health studies?











