El compromiso de seguridad de OpenAI bajo escrutinio: regulación versus supervisión

Tras el tiroteo en Tumbler Ridge que conmocionó a Canadá, OpenAI implementó rápidamente una serie de medidas compensatorias. Sin embargo, los expertos legales y técnicos siguen sin estar convencidos. El académico Jean-Christophe Bélisle-Pipon señaló que las promesas de seguridad hechas por el CEO de OpenAI, Sam Altman, al gobierno canadiense en esencia reemplazan la supervisión democrática por el control corporativo.
Meses antes del incidente, la cuenta de ChatGPT perteneciente al joven de 18 años Jesse van Ruttenaar fue señalada por publicar contenido relacionado con la violencia armada. Aunque la cuenta fue suspendida, OpenAI no informó sobre esta posible amenaza a las autoridades. La tragedia finalmente causó la muerte de ocho personas.
Nuevas medidas de OpenAI: Creación de una “línea directa” entre la policía y la empresa
En respuesta, OpenAI se ha comprometido a tomar las siguientes acciones:
Informes directos: Informar inmediatamente sobre amenazas creíbles a la Real Policía Montada Canadiense (RCMP).
Revisión retrospectiva: Reexaminar las cuentas que antes habían sido señaladas como preocupantes.
Participación de expertos: Permitir que expertos canadienses se unan a los procesos de asesoramiento en seguridad y ayuden al gobierno a formular recomendaciones reguladoras.
Preocupaciones de los expertos: La trampa del “sustituto de la vigilancia”
El profesor Bélisle-Pipon planteó un punto crítico en su análisis: OpenAI está evitando el escrutinio de su diseño de modelo central y métodos de entrenamiento, optando en cambio por intensificar el control de las conversaciones de los usuarios.
Brecha de responsabilidad: Los criterios para realizar informes todavía son determinados internamente por OpenAI, lo que falta en transparencia y auditoría independiente.
Efecto escalofriante: La investigación indica que los usuarios a menudo confían en los chatbots debido a la percepción de privacidad. Si estas conversaciones se convierten en una vía directa para la vigilancia policial, las personas vulnerables en crisis psicológica pueden optar por el silencio, perdiendo oportunidades cruciales para la intervención.
Captura regulativa: Esta “concesión voluntaria” podría ser un intento de prevenir y diluir regulaciones legales más estrictas.
El verdadero camino hacia la gobernanza: Desplazar el enfoque de los usuarios a los sistemas
Los críticos argumentan que una verdadera regulación de la IA debe ir más allá del monitoreo del habla y examinar los sistemas en sí. Por ejemplo:
Órganos de supervisión independientes: Establecer entidades terceras compuestas por expertos en salud mental y derecho para evaluar los riesgos, en lugar de dejar las decisiones exclusivamente en manos de la empresa.
Responsabilidad a nivel de modelo: Analizar cómo los modelos de IA responden a las revelaciones de intenciones violentas y qué pruebas de seguridad se realizaron durante su desarrollo.
A medida que OpenAI busca activamente asociaciones con gobiernos de todo el mundo, el incidente en Tumbler Ridge se está convirtiendo en un caso de referencia: ¿Estamos avanzando hacia tecnologías más seguras, o hacia una red de vigilancia digital operada por empresas privadas?
Artículo relacionado
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en
Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas
Guident opera un servicio de transporte de AuveTech en el sur de Florida, gestionando una ruta de cuatro millas en West Palm Beach y otra de una milla en Boca Ratón mediante su tecnología de monitoriz
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

Tras el tiroteo en Tumbler Ridge que conmocionó a Canadá, OpenAI implementó rápidamente una serie de medidas compensatorias. Sin embargo, los expertos legales y técnicos siguen sin estar convencidos. El académico Jean-Christophe Bélisle-Pipon señaló que las promesas de seguridad hechas por el CEO de OpenAI, Sam Altman, al gobierno canadiense en esencia reemplazan la supervisión democrática por el control corporativo.
Meses antes del incidente, la cuenta de ChatGPT perteneciente al joven de 18 años Jesse van Ruttenaar fue señalada por publicar contenido relacionado con la violencia armada. Aunque la cuenta fue suspendida, OpenAI no informó sobre esta posible amenaza a las autoridades. La tragedia finalmente causó la muerte de ocho personas.
Nuevas medidas de OpenAI: Creación de una “línea directa” entre la policía y la empresa
En respuesta, OpenAI se ha comprometido a tomar las siguientes acciones:
Informes directos: Informar inmediatamente sobre amenazas creíbles a la Real Policía Montada Canadiense (RCMP).
Revisión retrospectiva: Reexaminar las cuentas que antes habían sido señaladas como preocupantes.
Participación de expertos: Permitir que expertos canadienses se unan a los procesos de asesoramiento en seguridad y ayuden al gobierno a formular recomendaciones reguladoras.
Preocupaciones de los expertos: La trampa del “sustituto de la vigilancia”
El profesor Bélisle-Pipon planteó un punto crítico en su análisis: OpenAI está evitando el escrutinio de su diseño de modelo central y métodos de entrenamiento, optando en cambio por intensificar el control de las conversaciones de los usuarios.
Brecha de responsabilidad: Los criterios para realizar informes todavía son determinados internamente por OpenAI, lo que falta en transparencia y auditoría independiente.
Efecto escalofriante: La investigación indica que los usuarios a menudo confían en los chatbots debido a la percepción de privacidad. Si estas conversaciones se convierten en una vía directa para la vigilancia policial, las personas vulnerables en crisis psicológica pueden optar por el silencio, perdiendo oportunidades cruciales para la intervención.
Captura regulativa: Esta “concesión voluntaria” podría ser un intento de prevenir y diluir regulaciones legales más estrictas.
El verdadero camino hacia la gobernanza: Desplazar el enfoque de los usuarios a los sistemas
Los críticos argumentan que una verdadera regulación de la IA debe ir más allá del monitoreo del habla y examinar los sistemas en sí. Por ejemplo:
Órganos de supervisión independientes: Establecer entidades terceras compuestas por expertos en salud mental y derecho para evaluar los riesgos, en lugar de dejar las decisiones exclusivamente en manos de la empresa.
Responsabilidad a nivel de modelo: Analizar cómo los modelos de IA responden a las revelaciones de intenciones violentas y qué pruebas de seguridad se realizaron durante su desarrollo.
A medida que OpenAI busca activamente asociaciones con gobiernos de todo el mundo, el incidente en Tumbler Ridge se está convirtiendo en un caso de referencia: ¿Estamos avanzando hacia tecnologías más seguras, o hacia una red de vigilancia digital operada por empresas privadas?
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en





Hogar






