El compromiso de seguridad de OpenAI bajo escrutinio: regulación versus supervisión

Tras el tiroteo en Tumbler Ridge que conmocionó a Canadá, OpenAI implementó rápidamente una serie de medidas compensatorias. Sin embargo, los expertos legales y técnicos siguen sin estar convencidos. El académico Jean-Christophe Bélisle-Pipon señaló que las promesas de seguridad hechas por el CEO de OpenAI, Sam Altman, al gobierno canadiense en esencia reemplazan la supervisión democrática por el control corporativo.
Meses antes del incidente, la cuenta de ChatGPT perteneciente al joven de 18 años Jesse van Ruttenaar fue señalada por publicar contenido relacionado con la violencia armada. Aunque la cuenta fue suspendida, OpenAI no informó sobre esta posible amenaza a las autoridades. La tragedia finalmente causó la muerte de ocho personas.
Nuevas medidas de OpenAI: Creación de una “línea directa” entre la policía y la empresa
En respuesta, OpenAI se ha comprometido a tomar las siguientes acciones:
Informes directos: Informar inmediatamente sobre amenazas creíbles a la Real Policía Montada Canadiense (RCMP).
Revisión retrospectiva: Reexaminar las cuentas que antes habían sido señaladas como preocupantes.
Participación de expertos: Permitir que expertos canadienses se unan a los procesos de asesoramiento en seguridad y ayuden al gobierno a formular recomendaciones reguladoras.
Preocupaciones de los expertos: La trampa del “sustituto de la vigilancia”
El profesor Bélisle-Pipon planteó un punto crítico en su análisis: OpenAI está evitando el escrutinio de su diseño de modelo central y métodos de entrenamiento, optando en cambio por intensificar el control de las conversaciones de los usuarios.
Brecha de responsabilidad: Los criterios para realizar informes todavía son determinados internamente por OpenAI, lo que falta en transparencia y auditoría independiente.
Efecto escalofriante: La investigación indica que los usuarios a menudo confían en los chatbots debido a la percepción de privacidad. Si estas conversaciones se convierten en una vía directa para la vigilancia policial, las personas vulnerables en crisis psicológica pueden optar por el silencio, perdiendo oportunidades cruciales para la intervención.
Captura regulativa: Esta “concesión voluntaria” podría ser un intento de prevenir y diluir regulaciones legales más estrictas.
El verdadero camino hacia la gobernanza: Desplazar el enfoque de los usuarios a los sistemas
Los críticos argumentan que una verdadera regulación de la IA debe ir más allá del monitoreo del habla y examinar los sistemas en sí. Por ejemplo:
Órganos de supervisión independientes: Establecer entidades terceras compuestas por expertos en salud mental y derecho para evaluar los riesgos, en lugar de dejar las decisiones exclusivamente en manos de la empresa.
Responsabilidad a nivel de modelo: Analizar cómo los modelos de IA responden a las revelaciones de intenciones violentas y qué pruebas de seguridad se realizaron durante su desarrollo.
A medida que OpenAI busca activamente asociaciones con gobiernos de todo el mundo, el incidente en Tumbler Ridge se está convirtiendo en un caso de referencia: ¿Estamos avanzando hacia tecnologías más seguras, o hacia una red de vigilancia digital operada por empresas privadas?
Artículo relacionado
Zhiyuan WITA pone fin a la interacción «desnuda» con robots con la presentación de su primera declaración de cumplimiento
El sector de la inteligencia incorporada ha alcanzado un hito significativo. Según el último comunicado de la Administración del Ciberespacio de Shanghái, el modelo a gran escala WITA, desarrollado po
Un estudio antropológico relaciona el contenido generado por IA con una disminución del pensamiento humano
Cuando ves que la IA genera al instante un código o un documento bien estructurado y lógicamente claro, ¿te sientes tentado a confiar en él sin pensarlo dos veces? Según AIbase, la empresa líder en IA
Los ministerios del Gobierno británico discrepan sobre las necesidades energéticas de los centros de datos de IA
El Gobierno del Reino Unido se enfrenta a un gran reto: impulsar las energías limpias al tiempo que aspira a convertirse en líder mundial en inteligencia artificial. Sin embargo, se observan graves di
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Tras el tiroteo en Tumbler Ridge que conmocionó a Canadá, OpenAI implementó rápidamente una serie de medidas compensatorias. Sin embargo, los expertos legales y técnicos siguen sin estar convencidos. El académico Jean-Christophe Bélisle-Pipon señaló que las promesas de seguridad hechas por el CEO de OpenAI, Sam Altman, al gobierno canadiense en esencia reemplazan la supervisión democrática por el control corporativo.
Meses antes del incidente, la cuenta de ChatGPT perteneciente al joven de 18 años Jesse van Ruttenaar fue señalada por publicar contenido relacionado con la violencia armada. Aunque la cuenta fue suspendida, OpenAI no informó sobre esta posible amenaza a las autoridades. La tragedia finalmente causó la muerte de ocho personas.
Nuevas medidas de OpenAI: Creación de una “línea directa” entre la policía y la empresa
En respuesta, OpenAI se ha comprometido a tomar las siguientes acciones:
Informes directos: Informar inmediatamente sobre amenazas creíbles a la Real Policía Montada Canadiense (RCMP).
Revisión retrospectiva: Reexaminar las cuentas que antes habían sido señaladas como preocupantes.
Participación de expertos: Permitir que expertos canadienses se unan a los procesos de asesoramiento en seguridad y ayuden al gobierno a formular recomendaciones reguladoras.
Preocupaciones de los expertos: La trampa del “sustituto de la vigilancia”
El profesor Bélisle-Pipon planteó un punto crítico en su análisis: OpenAI está evitando el escrutinio de su diseño de modelo central y métodos de entrenamiento, optando en cambio por intensificar el control de las conversaciones de los usuarios.
Brecha de responsabilidad: Los criterios para realizar informes todavía son determinados internamente por OpenAI, lo que falta en transparencia y auditoría independiente.
Efecto escalofriante: La investigación indica que los usuarios a menudo confían en los chatbots debido a la percepción de privacidad. Si estas conversaciones se convierten en una vía directa para la vigilancia policial, las personas vulnerables en crisis psicológica pueden optar por el silencio, perdiendo oportunidades cruciales para la intervención.
Captura regulativa: Esta “concesión voluntaria” podría ser un intento de prevenir y diluir regulaciones legales más estrictas.
El verdadero camino hacia la gobernanza: Desplazar el enfoque de los usuarios a los sistemas
Los críticos argumentan que una verdadera regulación de la IA debe ir más allá del monitoreo del habla y examinar los sistemas en sí. Por ejemplo:
Órganos de supervisión independientes: Establecer entidades terceras compuestas por expertos en salud mental y derecho para evaluar los riesgos, en lugar de dejar las decisiones exclusivamente en manos de la empresa.
Responsabilidad a nivel de modelo: Analizar cómo los modelos de IA responden a las revelaciones de intenciones violentas y qué pruebas de seguridad se realizaron durante su desarrollo.
A medida que OpenAI busca activamente asociaciones con gobiernos de todo el mundo, el incidente en Tumbler Ridge se está convirtiendo en un caso de referencia: ¿Estamos avanzando hacia tecnologías más seguras, o hacia una red de vigilancia digital operada por empresas privadas?
Zhiyuan WITA pone fin a la interacción «desnuda» con robots con la presentación de su primera declaración de cumplimiento
El sector de la inteligencia incorporada ha alcanzado un hito significativo. Según el último comunicado de la Administración del Ciberespacio de Shanghái, el modelo a gran escala WITA, desarrollado po
Un estudio antropológico relaciona el contenido generado por IA con una disminución del pensamiento humano
Cuando ves que la IA genera al instante un código o un documento bien estructurado y lógicamente claro, ¿te sientes tentado a confiar en él sin pensarlo dos veces? Según AIbase, la empresa líder en IA
Los ministerios del Gobierno británico discrepan sobre las necesidades energéticas de los centros de datos de IA
El Gobierno del Reino Unido se enfrenta a un gran reto: impulsar las energías limpias al tiempo que aspira a convertirse en líder mundial en inteligencia artificial. Sin embargo, se observan graves di





Hogar






