Hogar
El científico jefe de OpenAI aborda el debate sobre la transparencia del razonamiento de la IA: la complejidad se mantiene estable, sin un salto repentino

El 2 de septiembre, Jakub Pachocki, científico jefe de OpenAI, abordó en X las preocupaciones públicas sobre el modelo de inteligencia artificial Astra, aclarando afirmaciones de que opera sin supervisión y carece de razonamiento transparente.
Por qué estalló la controversia: la recurrencia profunda oscurece las vías de razonamiento
El problema se originó a partir de un informe detallado de The Information, que reveló que OpenAI está experimentando con la tecnología de «recurrencia profunda». Este enfoque podría complicar la capacidad de los investigadores para rastrear el proceso de razonamiento de «cadena de pensamiento» del modelo.
Mientras que los modelos principales como ChatGPT, Claude y Gemini se basan en la arquitectura Transformer, que procesa la información en pasos lineales y ocasionalmente emite razonamiento en lenguaje natural, esta salida no siempre refleja los cálculos internos. La «recurrencia profunda» permite a los modelos invocar repetidamente las mismas capas de red, actualizando continuamente los estados internos. A diferencia de las estructuras lineales tradicionales, este método puede mantener un razonamiento significativo dentro de estados internos opacos, lo que dificulta que los investigadores rastreen las vías de decisión mediante la cadena de pensamiento. Tras el informe, la comunidad de inteligencia artificial expresó su preocupación de que esta tecnología podría obstaculizar las herramientas de monitoreo externo, reduciendo la transparencia sobre cómo los modelos llegan a sus conclusiones.
Pachocki aclara: la profundidad del grafo de cálculo sigue siendo manejable
En su publicación, Pachocki expresó su deseo de evitar una «carrera hacia una IA no supervisada» impulsada por narrativas mediáticas engañosas. Aclaró que la profundidad del grafo de cálculo de los modelos avanzados actuales de OpenAI, incluido Astra, es inferior al doble de la de GPT-4, lo que indica que no hay un salto repentino en la complejidad arquitectónica como se temía.
Señaló que, desde la introducción de los modelos de razonamiento iniciales, OpenAI ha priorizado mantener y aprovechar el monitoreo de la cadena de pensamiento. Esta tecnología es crucial para comprender cómo se generaliza la alineación del modelo a partir de los datos de entrenamiento. Sin embargo, reconoció que el monitoreo actual de la cadena de pensamiento es frágil y ha disminuido por razones ajenas a los cambios arquitectónicos. El equipo planea implementar medidas para fortalecer esta capacidad, un objetivo central de la investigación actual. OpenAI confirmó que implementará un monitoreo mejorado de la cadena de pensamiento para Astra.
La profundidad del grafo de cálculo mide la complejidad de la red neuronal, representando las capas de cálculo secuenciales desde la entrada hasta la salida. Los valores más altos indican estructuras más intrincadas.
Artículo relacionado
Apple y Google se alían con Anthropic para solucionar una vulnerabilidad de hace 27 años mediante la protección «Glass Wing»
A medida que la inteligencia artificial avanza rápidamente en la generación de código y el razonamiento lógico, el panorama de la ciberseguridad se enfrenta a retos sin precedentes. Recientemente, la
La Armada de los Estados Unidos elige a Blue Water Autonomy para misiones de prospección en aguas profundas
La clase Liberty de Blue Water Autonomy es un buque autónomo de acero de 190 pies. | Fuente: Blue Water AutonomyLa empresa de tecnología y construcción naval Blue Water Autonomy, con sede en Boston, h
OpenAI se compromete a no aumentar las facturas de energía y a un uso mínimo de agua para los centros de datos
Amid growing resistance to AI infrastructure nationwide, OpenAI is shifting to a more collaborative strategy. A July 23 Business Insider report reveals that OpenAI is actively seeking community backing for Project Camellia, a proposed data center cam
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

El 2 de septiembre, Jakub Pachocki, científico jefe de OpenAI, abordó en X las preocupaciones públicas sobre el modelo de inteligencia artificial Astra, aclarando afirmaciones de que opera sin supervisión y carece de razonamiento transparente.
Por qué estalló la controversia: la recurrencia profunda oscurece las vías de razonamiento
El problema se originó a partir de un informe detallado de The Information, que reveló que OpenAI está experimentando con la tecnología de «recurrencia profunda». Este enfoque podría complicar la capacidad de los investigadores para rastrear el proceso de razonamiento de «cadena de pensamiento» del modelo.
Mientras que los modelos principales como ChatGPT, Claude y Gemini se basan en la arquitectura Transformer, que procesa la información en pasos lineales y ocasionalmente emite razonamiento en lenguaje natural, esta salida no siempre refleja los cálculos internos. La «recurrencia profunda» permite a los modelos invocar repetidamente las mismas capas de red, actualizando continuamente los estados internos. A diferencia de las estructuras lineales tradicionales, este método puede mantener un razonamiento significativo dentro de estados internos opacos, lo que dificulta que los investigadores rastreen las vías de decisión mediante la cadena de pensamiento. Tras el informe, la comunidad de inteligencia artificial expresó su preocupación de que esta tecnología podría obstaculizar las herramientas de monitoreo externo, reduciendo la transparencia sobre cómo los modelos llegan a sus conclusiones.
Pachocki aclara: la profundidad del grafo de cálculo sigue siendo manejable
En su publicación, Pachocki expresó su deseo de evitar una «carrera hacia una IA no supervisada» impulsada por narrativas mediáticas engañosas. Aclaró que la profundidad del grafo de cálculo de los modelos avanzados actuales de OpenAI, incluido Astra, es inferior al doble de la de GPT-4, lo que indica que no hay un salto repentino en la complejidad arquitectónica como se temía.
Señaló que, desde la introducción de los modelos de razonamiento iniciales, OpenAI ha priorizado mantener y aprovechar el monitoreo de la cadena de pensamiento. Esta tecnología es crucial para comprender cómo se generaliza la alineación del modelo a partir de los datos de entrenamiento. Sin embargo, reconoció que el monitoreo actual de la cadena de pensamiento es frágil y ha disminuido por razones ajenas a los cambios arquitectónicos. El equipo planea implementar medidas para fortalecer esta capacidad, un objetivo central de la investigación actual. OpenAI confirmó que implementará un monitoreo mejorado de la cadena de pensamiento para Astra.
La profundidad del grafo de cálculo mide la complejidad de la red neuronal, representando las capas de cálculo secuenciales desde la entrada hasta la salida. Los valores más altos indican estructuras más intrincadas.
Apple y Google se alían con Anthropic para solucionar una vulnerabilidad de hace 27 años mediante la protección «Glass Wing»
A medida que la inteligencia artificial avanza rápidamente en la generación de código y el razonamiento lógico, el panorama de la ciberseguridad se enfrenta a retos sin precedentes. Recientemente, la
La Armada de los Estados Unidos elige a Blue Water Autonomy para misiones de prospección en aguas profundas
La clase Liberty de Blue Water Autonomy es un buque autónomo de acero de 190 pies. | Fuente: Blue Water AutonomyLa empresa de tecnología y construcción naval Blue Water Autonomy, con sede en Boston, h
OpenAI se compromete a no aumentar las facturas de energía y a un uso mínimo de agua para los centros de datos
Amid growing resistance to AI infrastructure nationwide, OpenAI is shifting to a more collaborative strategy. A July 23 Business Insider report reveals that OpenAI is actively seeking community backing for Project Camellia, a proposed data center cam











