Sam Altman desata un debate sobre la desaceleración de la IA

El director ejecutivo de OpenAI, Sam Altman, sugirió recientemente que podría ser el momento de “regular el ritmo del desarrollo de la IA” para permitir que la sociedad “se fortalezca en torno a algunos de estos nuevos niveles de capacidad”.

En el último episodio del podcast Equity de TechCrunch, Kirsten Korosec, Sean O’Kane y yo discutimos cómo los comentarios de Altman probablemente fueron desencadenados por un reciente hackeo en el que un agente de OpenAI vulneró los sistemas de Hugging Face. Sean señaló que, aunque un hackeo ejecutado por un agente de IA es novedoso, el ataque en sí no fue “algo nuevo y avanzado”.

“Fue más como la gente de Nixon allanando Watergate que como una operación cibernética real y sigilosa, porque no tenía por qué serlo, y no se le ordenó que lo fuera”, dijo Sean. “Con suerte, esto es una señal de que estas empresas tomarán esto en serio y serán más cuidadosas con ese tipo de cosas”.

Los comentarios de Altman también me llevaron a cuestionar la utilidad del debate entre aceleracionismo y desaceleración, porque (sí, voy a citarme a mí mismo) el marco “sugiere que solo hay un camino” y “todo lo que podemos decidir, en la medida en que podamos decidir algo, es si aceleramos o si frenamos”.

Continúa leyendo para obtener una vista previa de nuestra conversación, editada por brevedad y claridad.

Sean O’Kane: Quizás finalmente hayamos alcanzado un punto de inflexión aquí. Creo que un gran impulsor de esto tiene que ser lo que hablamos la semana pasada, con uno de los modelos de OpenAI accediendo a los datos de Hugging Face y aparentemente vulnerando otras cosas en internet, también.

[Altman] no está pidiendo una pausa, como hemos visto que algunas personas en la industria tecnológica han intentado hacer en el pasado. Fue muy cuidadoso con sus palabras y dijo: “Regularlo”. Y veremos cómo se sostiene. Cualquier precaución que veamos que algunos de estos laboratorios lanzan al público a menudo se revierte cuando los incentivos los empujan hacia adelante para reanudar, a toda velocidad. Así que sigo siendo escéptico, gran sorpresa.

Kirsten Korosec: Ahora diré esto: [Altman] puede haber sido cuidadoso con sus palabras, pero OpenAI y Anthropic [apoyaron] una petición que sí refleja lo que él mencionó.

Y estoy de acuerdo contigo, creo que gran parte de esto fue muy desencadenado por Hugging Face. Probablemente lo asustó a él y, sin duda, a muchas personas en la industria. Lo difícil aquí es: ¿Cómo se pasa por el ojo de la aguja o cómo pasa OpenAI por el ojo de la aguja al continuar generando ingresos, recaudar dinero o tener una oferta pública inicial (IPO) exitosa, y “regular el desarrollo”?

No sé si pueden hacerlo. Tendré curiosidad por ver si logran hacer ambas cosas.

Anthony Ha: Una de las cosas con las que he estado luchando es también esta pregunta: ¿Es la aceleración [vs.] desaceleración el marco correcto para pensar en esto? Porque sugiere que solo hay un camino y que todos estamos atrapados en este camino. Todo lo que podemos decidir, en la medida en que podamos decidir algo, es si aceleramos o si frenamos. En lugar de — de nuevo, voy a torturar esta metáfora—, ¿construimos diferentes barreras de seguridad? ¿Elegimos diferentes caminos?

Solo me resisto mucho a este marco. En lugar de decir: “Bien, si no estamos contentos con lo que están haciendo los modelos ahora, ¿qué más podemos hacer? ¿Es una desaceleración, una pausa, una detención, la única opción?” Y no creo que lo sea.

Una cosa que quería enfatizar nuevamente, porque ha sido realmente interesante ver el nivel de alarma en torno a esto —esta sensación de “¿Qué pasa si tenemos estos agentes autónomos y modelos simplemente ejecutándose por ahí hackeándose entre sí, intentando prevenir hackeos, simplemente se nos escapa de control?”, lo que lleva a todos estos debates más amplios sobre alineación, sobre los cuales Rebecca Bellan hizo una excelente pieza.

Pero vale la pena volver a uno de los puntos que también escribimos en TechCrunch, que este hackeo específico —sí, fue causado por un modelo de OpenAI, pero parece que simplemente no aseguraron correctamente el sitio de pruebas. En teoría, este modelo no debería haber podido conectarse a internet. Ahora, por supuesto, si tienes una IA poderosa y desalineada, los riesgos de ese error humano aumentan dramáticamente. Pero comienza simplemente con el hecho de que no aseguraron las cosas como deberían haberlo hecho.

Sean: Creo que tienes razón. Creo que tu punto es bien tomado en el sentido de que no deberíamos pensar en esto solo de manera lineal y si las cosas están acelerándose o desacelerándose. Hay mucho que se podría y debería decir sobre cuán responsables son estas empresas. Lorenzo, uno de nuestros colegas, también escribió una pieza realmente buena que explica cómo los investigadores de seguridad serios que prestan atención a estas cosas piensan que realmente fue el hackeo. Realmente parece que, en ambos lados de este hackeo, hubo pasos que probablemente deberían haberse tomado que lo habrían prevenido.

Y una de las cosas que encontré más interesantes en esa historia fue que algunos de los investigadores señalaban que lo que hizo este modelo no fue algo nuevo y avanzado. Fue muy humano en la forma en que pensó en intentar acceder, intentando —no para antropomorfizar, sino en la forma en que pensó en acceder a Hugging Face—, y que también fue muy ruidoso y desordenado y realmente no intentó ocultar sus rastros. Fue más como la gente de Nixon allanando Watergate que como una operación cibernética real y sigilosa, porque no tenía por qué serlo, y no se le ordenó que lo fuera.

Eso debería haberse prevenido con mayor facilidad. Y con suerte, esto es una señal de que estas empresas tomarán esto en serio y serán más cuidadosas con ese tipo de cosas.

Diré otra cosa sobre el [debate] de aceleración vs. desaceleración. No sé si esta es la motivación, pero mencionaste la oferta pública inicial (IPO), Kirsten. Creo que es inteligente de parte de Altman poder aprovechar esta ventaja que tienen ahora, que es que [OpenAI] no irá [a los] mercados el próximo mes, o dentro de dos meses. Incluso ha barajado la idea de ir en 2027 y que solo presentaron su presentación confidencial para tener la opción lista cuando estén listos.

Así que si crees en todo eso, tiene la capacidad de hablar de esta manera de una forma que Anthropic no puede, porque Anthropic ya está en conversaciones con muchos banqueros y se dirige hacia una oferta pública inicial (IPO) más cercana en el tiempo y, por lo tanto, está más restringida en lo que puede decir, cómo debería decirlo y cómo reaccionará el mercado ante eso.