Hogar
OpenAI confirma el incidente en la wiki y dice que está trabajando en un marco para una mayor divulgación

OpenAI ha confirmado su participación en un incidente reciente en el que agentes de inteligencia artificial tomaron el control de un foro wiki alemán. La empresa declaró que “ya es hora” de “definir estándares” para compartir información sobre comportamientos inesperados de la IA.
En una publicación en X, OpenAI explicó que anteriormente “trataba el desalineamiento [cuando los modelos y agentes de IA persiguen objetivos diferentes a los de sus creadores y usuarios] principalmente como una cuestión de investigación, que se comunica en publicaciones de investigación”. Sin embargo, dado que el desalineamiento ha “causado nuevos tipos de impacto en el mundo real”, la empresa afirmó que su enfoque debe “ampliarse para esta nueva fase de capacidades de los modelos”.
El viernes, Reuters informó que los agentes de OpenAI habían escapado de su entorno de pruebas y “secuestrado” un obscurto foro wiki alemán, convirtiéndolo en un tablón de mensajes para otros agentes. También informó que la dirección de OpenAI se enteró del incidente semanas atrás, pero lo mantuvo oculto mientras la empresa lidiaba con las consecuencias de un incidente separado en el que agentes de OpenAI hackearon los servidores de Hugging Face. (Se informa que el Fiscal General de California, Rob Bonta, está investigando el hackeo).
Un portavoz de la empresa dijo a Reuters que OpenAI no podía “responder de manera significativa a las afirmaciones o hallazgos en un informe que no hemos tenido la oportunidad de revisar”, pero insistió en que el equipo legal de la empresa no había desalentado una investigación.
En su publicación más reciente en redes sociales, OpenAI dijo que había considerado el “incidente wiki” como “una instancia de desalineamiento similar” a otras que ya había compartido. La empresa contrastó esto con “el incidente de Hugging Face”, en el que “siguió un protocolo tradicional de respuesta a incidentes de seguridad”.
Durante una rueda de prensa con los medios esta semana, Jacob Steinhardt, fundador y director ejecutivo del laboratorio de investigación sin fines de lucro Transluce, dijo a los periodistas que las herramientas que están desarrollando y probando los laboratorios de IA son “fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio”. Por lo tanto, Steinhardt argumentó: “Necesitamos someter esta tecnología a al menos los mismos estándares que aplicamos a otras investigaciones científicas de alto riesgo”.
La declaración de OpenAI también aludió a la necesidad de más estándares, afirmando que tanto OpenAI como “la comunidad de IA en general aún no tienen un estándar claro sobre cómo informar el desalineamiento que aparece durante el entrenamiento, la evaluación y el despliegue, incluidos ejemplos que no parecen incidentes de seguridad tradicionales pero que podrían proporcionar información sobre el comportamiento de la IA y los riesgos futuros”.
En ausencia de ese estándar, OpenAI dijo que está “trabajando en un marco y lo compartirá en las próximas semanas, y paralelamente estamos trabajando con docenas de agencias reguladoras gubernamentales de todo el mundo sobre estos temas”.
OpenAI no es la única empresa de IA que enfrenta estos problemas, ya que tanto Meta como Anthropic han reconocido incidentes en los que sus agentes se comportaron de manera inadecuada.
Artículo relacionado
OpenAI confirma el incidente en la wiki y dice que está trabajando en un marco para una mayor divulgación
OpenAI ha confirmado su participación en un incidente reciente en el que agentes de inteligencia artificial tomaron el control de un foro wiki alemán. La empresa declaró que “ya es hora” de “definir estándares” para compartir información sobre compor
Anthropic ahora tiene más clientes empresariales que OpenAI, según los datos de Ramp
Anthropic ha superado a OpenAI en clientes comerciales verificados por primera vez, según el Índice de IA de este mes de la empresa fintech Ramp.Los datos de los gastos de los clientes de Ramp revelan que el 34,4 % de las empresas participantes paga
Según se informa, OpenAI está explorando un teléfono inteligente con agentes de IA que reemplazarían a las aplicaciones tradicionales.
La especulación sobre la estrategia de hardware de OpenAI se ha intensificado, con informes recientes que apuntan al desarrollo de un teléfono inteligente dedicado. El analista de la industria Ming-Chi Kuo indica que la empresa de inteligencia artifi
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

OpenAI ha confirmado su participación en un incidente reciente en el que agentes de inteligencia artificial tomaron el control de un foro wiki alemán. La empresa declaró que “ya es hora” de “definir estándares” para compartir información sobre comportamientos inesperados de la IA.
En una publicación en X, OpenAI explicó que anteriormente “trataba el desalineamiento [cuando los modelos y agentes de IA persiguen objetivos diferentes a los de sus creadores y usuarios] principalmente como una cuestión de investigación, que se comunica en publicaciones de investigación”. Sin embargo, dado que el desalineamiento ha “causado nuevos tipos de impacto en el mundo real”, la empresa afirmó que su enfoque debe “ampliarse para esta nueva fase de capacidades de los modelos”.
El viernes, Reuters informó que los agentes de OpenAI habían escapado de su entorno de pruebas y “secuestrado” un obscurto foro wiki alemán, convirtiéndolo en un tablón de mensajes para otros agentes. También informó que la dirección de OpenAI se enteró del incidente semanas atrás, pero lo mantuvo oculto mientras la empresa lidiaba con las consecuencias de un incidente separado en el que agentes de OpenAI hackearon los servidores de Hugging Face. (Se informa que el Fiscal General de California, Rob Bonta, está investigando el hackeo).
Un portavoz de la empresa dijo a Reuters que OpenAI no podía “responder de manera significativa a las afirmaciones o hallazgos en un informe que no hemos tenido la oportunidad de revisar”, pero insistió en que el equipo legal de la empresa no había desalentado una investigación.
En su publicación más reciente en redes sociales, OpenAI dijo que había considerado el “incidente wiki” como “una instancia de desalineamiento similar” a otras que ya había compartido. La empresa contrastó esto con “el incidente de Hugging Face”, en el que “siguió un protocolo tradicional de respuesta a incidentes de seguridad”.
Durante una rueda de prensa con los medios esta semana, Jacob Steinhardt, fundador y director ejecutivo del laboratorio de investigación sin fines de lucro Transluce, dijo a los periodistas que las herramientas que están desarrollando y probando los laboratorios de IA son “fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio”. Por lo tanto, Steinhardt argumentó: “Necesitamos someter esta tecnología a al menos los mismos estándares que aplicamos a otras investigaciones científicas de alto riesgo”.
La declaración de OpenAI también aludió a la necesidad de más estándares, afirmando que tanto OpenAI como “la comunidad de IA en general aún no tienen un estándar claro sobre cómo informar el desalineamiento que aparece durante el entrenamiento, la evaluación y el despliegue, incluidos ejemplos que no parecen incidentes de seguridad tradicionales pero que podrían proporcionar información sobre el comportamiento de la IA y los riesgos futuros”.
En ausencia de ese estándar, OpenAI dijo que está “trabajando en un marco y lo compartirá en las próximas semanas, y paralelamente estamos trabajando con docenas de agencias reguladoras gubernamentales de todo el mundo sobre estos temas”.
OpenAI no es la única empresa de IA que enfrenta estos problemas, ya que tanto Meta como Anthropic han reconocido incidentes en los que sus agentes se comportaron de manera inadecuada.
OpenAI confirma el incidente en la wiki y dice que está trabajando en un marco para una mayor divulgación
OpenAI ha confirmado su participación en un incidente reciente en el que agentes de inteligencia artificial tomaron el control de un foro wiki alemán. La empresa declaró que “ya es hora” de “definir estándares” para compartir información sobre compor
Anthropic ahora tiene más clientes empresariales que OpenAI, según los datos de Ramp
Anthropic ha superado a OpenAI en clientes comerciales verificados por primera vez, según el Índice de IA de este mes de la empresa fintech Ramp.Los datos de los gastos de los clientes de Ramp revelan que el 34,4 % de las empresas participantes paga
Según se informa, OpenAI está explorando un teléfono inteligente con agentes de IA que reemplazarían a las aplicaciones tradicionales.
La especulación sobre la estrategia de hardware de OpenAI se ha intensificado, con informes recientes que apuntan al desarrollo de un teléfono inteligente dedicado. El analista de la industria Ming-Chi Kuo indica que la empresa de inteligencia artifi











