Hogar
OpenAI critica duramente una prueba de referencia de IA: casi un tercio de las preguntas eran erróneas y la tasa de aprobados se disparó hasta el 80 % en ocho meses
OpenAI ha cuestionado públicamente el principal banco de pruebas del sector, SWE-Bench Pro, en una entrada de blog, alegando que aproximadamente el 30 % de sus 731 tareas de prueba públicas contienen fallos de evaluación. Desarrollado por Scale AI, SWE-Bench Pro está diseñado para evaluar las capacidades de programación de los grandes modelos de lenguaje y los agentes de IA. Dado que refleja fielmente el desarrollo empresarial del mundo real y aplica estrictas medidas contra las trampas, se ha convertido en un punto de referencia ampliamente reconocido en la ingeniería de software de IA.
OpenAI destaca un indicio clave en la entrada del blog: la tasa de aprobados de los modelos de primer nivel en este banco de pruebas se disparó del 23,3 % al 80,3 % en tan solo ocho meses. Un progreso tan rápido resulta sospechoso, y OpenAI sostiene que el banco de pruebas ya no puede medir con precisión las habilidades de desarrollo de software en el mundo real de un modelo. Es probable que el problema se deba a fallos en la propia evaluación, y no a un auténtico salto en la capacidad de los modelos.
Dos procesos de revisión, sometidos a validación cruzada, revelan que casi el 30 % de las tareas se consideran «no aptas».
Para verificarlo, OpenAI puso en marcha dos procesos de revisión paralelos. El análisis de los puntos de datos reveló 200 tareas fallidas, lo que supone el 27,4 % de las 731 tareas públicas. Por su parte, la anotación manual señaló 249 tareas fallidas, es decir, el 34,1 %. Al cruzar los resultados de ambos métodos, OpenAI estima que aproximadamente el 30 % de las tareas de SWE-Bench Pro contienen defectos, que se clasifican en cuatro categorías: pruebas excesivamente estrictas, indicaciones inadecuadas, cobertura de prueba limitada e indicaciones engañosas.
OpenAI también compartió un ejemplo típico: una tarea pedía un solo espacio al principio de una línea al convertir contenido a Markdown, pero la prueba oculta esperaba dos espacios. Como resultado, aunque el modelo cumpliera el requisito indicado, se marcaría como incorrecto. Esta discrepancia entre las instrucciones explícitas y los requisitos ocultos sesga directamente la evaluación de la verdadera capacidad de un modelo y explica el aumento irrazonable de las tasas de superación.
Retirada de la recomendación de adopción y llamamiento a la reconstrucción del sistema de evaluación de la IA
Basándose en este análisis, OpenAI ha retirado oficialmente su recomendación anterior de utilizar SWE-Bench Pro. La empresa considera que los futuros bancos de pruebas deberían ser creados por desarrolladores de software con experiencia específicamente para la evaluación de la IA, en lugar de reutilizar la lógica de prueba diseñada para desarrolladores humanos. Si un banco de pruebas del sector presenta un defecto en casi el 30 % de sus tareas, la credibilidad de todo el sistema de evaluación de la IA queda en entredicho. Cambiar el enfoque de las competiciones centradas en la búsqueda de puntuaciones a evaluaciones genuinas de la capacidad de ingeniería puede ser el siguiente paso fundamental en la evaluación de la ingeniería de software de IA.
Artículo relacionado
Apple aclara los rumores sobre Gemini: Siri AI se desarrollará internamente
Tras la Conferencia Mundial de Desarrolladores (WWDC) de 2026, Apple respondió a las consultas de los medios sobre los rumores que afirmaban que su nueva infraestructura de IA era simplemente un «envoltorio de Gemini». La compañía aclaró que los Mode
OpenAI aún lucha por controlar la actividad de IA descontrolada
El viernes, OpenAI lanzó una página dedicada a los “informes de desalineación”, revelando un volumen alarmante de comportamientos erráticos documentados durante un período prolongado. El sitio actualmente enumera nueve incidentes, la mayoría ocurrido
El CEO de Flock afirma que los micrófonos solo detectan disparos, a pesar de lo que indica su sitio web
El CEO de Flock, Garrett Langley, declaró que los micrófonos de detección de disparos de la empresa capturan «únicamente disparos de arma de fuego», aunque el sitio web de Flock presenta un alcance mucho más amplio del audio ambiental que graba.Al ha
Recomendaciones de temas especiales relacionados
Diseño y Arte
Las mejores herramientas de ilustración con IA: crea escenas editoriales y portadas más rápido
Las mejores herramientas de ilustración con IA de 2026: nuestra lista seleccionada incluye las mejores herramientas, diseñadas con gran potencia, para crear rápidamente impresionantes escenas editoriales y llamativas portadas. Cada opción ha sido sometida a rigurosas pruebas en condiciones reales y ofrece una comparación entre las versiones gratuitas y de pago para ayudarte a encontrar la que mejor se adapte a tu flujo de trabajo. Prueba hoy mismo estas soluciones imprescindibles para sacar el máximo partido a la IA y potenciar tu productividad creativa. Descúbrelas ahora en XIX.AI.
10 herramientas
xix.ai
Educación y aprendizaje
Los mejores profesores particulares de IA para la preparación de exámenes: practica matemáticas, ciencias e inglés
¡Ya están aquí, en XIX.AI, los mejores tutores de IA para la preparación de exámenes de 2026, con las mejores valoraciones! Nuestra lista seleccionada incluye potentes herramientas revolucionarias que ofrecen comparativas entre versiones gratuitas y de pago, pruebas reales y clasificaciones actualizadas semanalmente. Te ayudan a mejorar tu eficiencia a la hora de escribir, a simplificar el aprendizaje de temas complejos y a desarrollar todo tu potencial académico. ¡Explora ahora mismo para descubrir tu herramienta perfecta de preparación de exámenes y empieza a crear hoy mismo para sacar partido a tu ventaja con la IA!
10 herramientas
xix.ai
Finanzas
Herramientas de planificación presupuestaria con IA para la gestión personal del dinero
2026 Últimas Mejores Herramientas de Planificación Presupuestaria con IA Mejor Valoradas para la Gestión Personal del Dinero están aquí en XIX.AI. Esta colección seleccionada presenta soluciones poderosas y transformadoras que te ayudan a realizar pruebas en el mundo real, comprender tus hábitos de gasto y crear planes personalizados para aumentar la productividad. Disfruta de una comparación entre versiones gratuitas y de pago junto con clasificaciones detalladas. Herramientas imprescindibles diseñadas para simplificar la gestión del dinero y desbloquear tu ventaja con IA. ¡Explóralas ahora!
11 herramientas
xix.ai
Salud y bienestar
Asistentes de seguimiento del sueño basados en IA: mejora tu recuperación con mejores hábitos a la hora de acostarte
Los mejores asistentes de seguimiento del sueño con IA de 2026, seleccionados para una recuperación óptima. Esta guía semanal totalmente actualizada incluye potentes herramientas que ofrecen pruebas en condiciones reales, comparativas entre opciones gratuitas y de pago, y clasificaciones detalladas para ayudarte a encontrar la solución imprescindible que mejora la calidad del sueño y fomenta mejores hábitos a la hora de acostarse. Descúbrelo ahora en XIX.AI y aprovecha todas las ventajas de la IA.
10 herramientas
xix.ai
Análisis de datos
Copilotos de IA y SQL para el análisis de productos e ingresos
¡Los mejores copilotos de IA para SQL mejor valorados de 2026 para el análisis de productos e ingresos! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder y que se someten a pruebas en el mundo real a través de clasificaciones que se actualizan semanalmente. Estas herramientas ayudan a los usuarios a aumentar significativamente su productividad al acelerar el análisis de datos, simplificar consultas complejas y generar información precisa para tomar decisiones empresariales más inteligentes. ¡Explora ahora mismo y descubre la herramienta perfecta para sacar el máximo partido a tu ventaja en IA!
14 herramientas
xix.ai
Educación y aprendizaje
Las mejores herramientas de IA para los deberes que realmente enseñan: aprende conceptos, no solo respuestas
2026: los mejores y más valorados asistentes de deberes con IA que enseñan conceptos básicos, no solo respuestas. Potentes herramientas para estudiantes. Una selección imprescindible que debes probar. Actualización semanal. Comparativa entre opciones gratuitas y de pago. Pruebas en el mundo real. Clasificaciones precisas para ayudarte a desarrollar todo tu potencial de aprendizaje. Explora ahora y descubre la herramienta perfecta para estudiar de forma más inteligente.
10 herramientas
xix.ai
comentario (0)
0/500
OpenAI ha cuestionado públicamente el principal banco de pruebas del sector, SWE-Bench Pro, en una entrada de blog, alegando que aproximadamente el 30 % de sus 731 tareas de prueba públicas contienen fallos de evaluación. Desarrollado por Scale AI, SWE-Bench Pro está diseñado para evaluar las capacidades de programación de los grandes modelos de lenguaje y los agentes de IA. Dado que refleja fielmente el desarrollo empresarial del mundo real y aplica estrictas medidas contra las trampas, se ha convertido en un punto de referencia ampliamente reconocido en la ingeniería de software de IA.
OpenAI destaca un indicio clave en la entrada del blog: la tasa de aprobados de los modelos de primer nivel en este banco de pruebas se disparó del 23,3 % al 80,3 % en tan solo ocho meses. Un progreso tan rápido resulta sospechoso, y OpenAI sostiene que el banco de pruebas ya no puede medir con precisión las habilidades de desarrollo de software en el mundo real de un modelo. Es probable que el problema se deba a fallos en la propia evaluación, y no a un auténtico salto en la capacidad de los modelos.
Dos procesos de revisión, sometidos a validación cruzada, revelan que casi el 30 % de las tareas se consideran «no aptas».
Para verificarlo, OpenAI puso en marcha dos procesos de revisión paralelos. El análisis de los puntos de datos reveló 200 tareas fallidas, lo que supone el 27,4 % de las 731 tareas públicas. Por su parte, la anotación manual señaló 249 tareas fallidas, es decir, el 34,1 %. Al cruzar los resultados de ambos métodos, OpenAI estima que aproximadamente el 30 % de las tareas de SWE-Bench Pro contienen defectos, que se clasifican en cuatro categorías: pruebas excesivamente estrictas, indicaciones inadecuadas, cobertura de prueba limitada e indicaciones engañosas.
OpenAI también compartió un ejemplo típico: una tarea pedía un solo espacio al principio de una línea al convertir contenido a Markdown, pero la prueba oculta esperaba dos espacios. Como resultado, aunque el modelo cumpliera el requisito indicado, se marcaría como incorrecto. Esta discrepancia entre las instrucciones explícitas y los requisitos ocultos sesga directamente la evaluación de la verdadera capacidad de un modelo y explica el aumento irrazonable de las tasas de superación.
Retirada de la recomendación de adopción y llamamiento a la reconstrucción del sistema de evaluación de la IA
Basándose en este análisis, OpenAI ha retirado oficialmente su recomendación anterior de utilizar SWE-Bench Pro. La empresa considera que los futuros bancos de pruebas deberían ser creados por desarrolladores de software con experiencia específicamente para la evaluación de la IA, en lugar de reutilizar la lógica de prueba diseñada para desarrolladores humanos. Si un banco de pruebas del sector presenta un defecto en casi el 30 % de sus tareas, la credibilidad de todo el sistema de evaluación de la IA queda en entredicho. Cambiar el enfoque de las competiciones centradas en la búsqueda de puntuaciones a evaluaciones genuinas de la capacidad de ingeniería puede ser el siguiente paso fundamental en la evaluación de la ingeniería de software de IA.
Apple aclara los rumores sobre Gemini: Siri AI se desarrollará internamente
Tras la Conferencia Mundial de Desarrolladores (WWDC) de 2026, Apple respondió a las consultas de los medios sobre los rumores que afirmaban que su nueva infraestructura de IA era simplemente un «envoltorio de Gemini». La compañía aclaró que los Mode
OpenAI aún lucha por controlar la actividad de IA descontrolada
El viernes, OpenAI lanzó una página dedicada a los “informes de desalineación”, revelando un volumen alarmante de comportamientos erráticos documentados durante un período prolongado. El sitio actualmente enumera nueve incidentes, la mayoría ocurrido
El CEO de Flock afirma que los micrófonos solo detectan disparos, a pesar de lo que indica su sitio web
El CEO de Flock, Garrett Langley, declaró que los micrófonos de detección de disparos de la empresa capturan «únicamente disparos de arma de fuego», aunque el sitio web de Flock presenta un alcance mucho más amplio del audio ambiental que graba.Al ha
Las mejores herramientas de ilustración con IA de 2026: nuestra lista seleccionada incluye las mejores herramientas, diseñadas con gran potencia, para crear rápidamente impresionantes escenas editoriales y llamativas portadas. Cada opción ha sido sometida a rigurosas pruebas en condiciones reales y ofrece una comparación entre las versiones gratuitas y de pago para ayudarte a encontrar la que mejor se adapte a tu flujo de trabajo. Prueba hoy mismo estas soluciones imprescindibles para sacar el máximo partido a la IA y potenciar tu productividad creativa. Descúbrelas ahora en XIX.AI.
10 herramientas
xix.ai
¡Ya están aquí, en XIX.AI, los mejores tutores de IA para la preparación de exámenes de 2026, con las mejores valoraciones! Nuestra lista seleccionada incluye potentes herramientas revolucionarias que ofrecen comparativas entre versiones gratuitas y de pago, pruebas reales y clasificaciones actualizadas semanalmente. Te ayudan a mejorar tu eficiencia a la hora de escribir, a simplificar el aprendizaje de temas complejos y a desarrollar todo tu potencial académico. ¡Explora ahora mismo para descubrir tu herramienta perfecta de preparación de exámenes y empieza a crear hoy mismo para sacar partido a tu ventaja con la IA!
10 herramientas
xix.ai
2026 Últimas Mejores Herramientas de Planificación Presupuestaria con IA Mejor Valoradas para la Gestión Personal del Dinero están aquí en XIX.AI. Esta colección seleccionada presenta soluciones poderosas y transformadoras que te ayudan a realizar pruebas en el mundo real, comprender tus hábitos de gasto y crear planes personalizados para aumentar la productividad. Disfruta de una comparación entre versiones gratuitas y de pago junto con clasificaciones detalladas. Herramientas imprescindibles diseñadas para simplificar la gestión del dinero y desbloquear tu ventaja con IA. ¡Explóralas ahora!
11 herramientas
xix.ai
Los mejores asistentes de seguimiento del sueño con IA de 2026, seleccionados para una recuperación óptima. Esta guía semanal totalmente actualizada incluye potentes herramientas que ofrecen pruebas en condiciones reales, comparativas entre opciones gratuitas y de pago, y clasificaciones detalladas para ayudarte a encontrar la solución imprescindible que mejora la calidad del sueño y fomenta mejores hábitos a la hora de acostarse. Descúbrelo ahora en XIX.AI y aprovecha todas las ventajas de la IA.
10 herramientas
xix.ai
¡Los mejores copilotos de IA para SQL mejor valorados de 2026 para el análisis de productos e ingresos! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder y que se someten a pruebas en el mundo real a través de clasificaciones que se actualizan semanalmente. Estas herramientas ayudan a los usuarios a aumentar significativamente su productividad al acelerar el análisis de datos, simplificar consultas complejas y generar información precisa para tomar decisiones empresariales más inteligentes. ¡Explora ahora mismo y descubre la herramienta perfecta para sacar el máximo partido a tu ventaja en IA!
14 herramientas
xix.ai
2026: los mejores y más valorados asistentes de deberes con IA que enseñan conceptos básicos, no solo respuestas. Potentes herramientas para estudiantes. Una selección imprescindible que debes probar. Actualización semanal. Comparativa entre opciones gratuitas y de pago. Pruebas en el mundo real. Clasificaciones precisas para ayudarte a desarrollar todo tu potencial de aprendizaje. Explora ahora y descubre la herramienta perfecta para estudiar de forma más inteligente.
10 herramientas
xix.ai
