opción
Hogar
Noticias
AI puntos de referencia: ¿Deberíamos ignorarlos por ahora?

AI puntos de referencia: ¿Deberíamos ignorarlos por ahora?

10 de abril de 2025
317

¡Bienvenidos al boletín regular de IA de TechCrunch! Estamos tomando un pequeño descanso, pero no te preocupes, aún puedes obtener toda nuestra cobertura de IA, incluidas mis columnas, análisis diarios y noticias de última hora, aquí mismo en TechCrunch. ¿Quieres recibir estas historias directamente en tu bandeja de entrada todos los días? Solo regístrate en nuestros boletines diarios aquí.

Esta semana, la startup de IA de Elon Musk, xAI, lanzó su último modelo insignia de IA, Grok 3, que impulsa las aplicaciones de chatbot Grok de la compañía. Lo entrenaron con la impresionante cantidad de 200,000 GPUs, y está superando a varios otros modelos destacados, incluidos algunos de OpenAI, en pruebas de referencia para matemáticas, programación y más.

Pero hablemos de lo que realmente significan estas pruebas de referencia.

Aquí en TC, informamos sobre estos números de referencia, aunque no siempre estemos emocionados por hacerlo, porque son una de las pocas formas en que la industria de la IA intenta mostrar cómo están mejorando sus modelos. El problema es que estas pruebas de referencia de IA populares a menudo se centran en cosas oscuras y dan puntuaciones que no reflejan realmente qué tan bien la IA realiza las cosas que realmente le importan a la gente.

Ethan Mollick, profesor en Wharton, acudió a X para decir que hay una necesidad real de mejores pruebas y grupos independientes para realizarlas. Señaló que las empresas de IA a menudo reportan sus propios resultados de referencia, lo que hace difícil confiar completamente en ellos.

"Las pruebas de referencia públicas son tanto 'meh' como saturadas, dejando mucho del testing de IA como reseñas de comida, basadas en el gusto," escribió Mollick. "Si la IA es crítica para el trabajo, necesitamos más."

Hay muchas personas tratando de crear nuevas pruebas de referencia para IA, pero nadie puede ponerse de acuerdo en cuál es la mejor. Algunos piensan que las pruebas de referencia deberían centrarse en el impacto económico para ser útiles, mientras que otros creen que la adopción en el mundo real y la utilidad son las verdaderas medidas del éxito.

Este debate podría durar para siempre. Tal vez, como sugiere el usuario de X Roon, deberíamos prestar menos atención a los nuevos modelos y pruebas de referencia a menos que haya un gran avance en IA. Podría ser mejor para nuestra cordura, incluso si eso significa perdernos algo del revuelo de la IA.

Como mencionamos, This Week in AI está tomando un descanso. Gracias por seguir con nosotros, lectores, a través de todos los altibajos. Hasta la próxima.

Noticias

Créditos de la imagen: Nathan Laine/Bloomberg / Getty Images
OpenAI está intentando "descensurar" ChatGPT. Max escribió sobre cómo están cambiando su enfoque hacia el desarrollo de IA para abrazar la "libertad intelectual", incluso en temas difíciles o controvertidos.

Mira Murati, ex CTO de OpenAI, tiene una nueva startup llamada Thinking Machines Lab. Están trabajando en herramientas para "hacer que la IA funcione para las necesidades y objetivos únicos de las personas."

xAI lanzó Grok 3 y añadió nuevas funciones a las aplicaciones de Grok para iOS y la web.

Meta está organizando su primera conferencia de desarrolladores enfocada en IA generativa esta primavera. Se llama LlamaCon, por sus modelos Llama, y se llevará a cabo el 29 de abril.

Paul escribió sobre OpenEuroLLM, un proyecto de alrededor de 20 organizaciones para construir modelos fundacionales para una "IA transparente en Europa" que respete la "diversidad lingüística y cultural" de todos los idiomas de la UE.

Artículo de investigación de la semana

El sitio web de OpenAI ChatGPT mostrado en la pantalla de una laptop se ve en esta foto de ilustración.

Créditos de la imagen: Jakub Porzycki/NurPhoto / Getty Images
Investigadores de OpenAI han creado una nueva prueba de referencia de IA llamada SWE-Lancer para evaluar qué tan bien puede programar la IA. Está compuesta por más de 1,400 tareas de ingeniería de software freelance, desde corregir errores y añadir funciones hasta proponer implementaciones técnicas.

OpenAI dice que el modelo de mejor rendimiento, Claude 3.5 Sonnet de Anthropic, solo obtuvo un 40.3% en la prueba completa de SWE-Lancer, lo que muestra que la IA aún tiene un largo camino por recorrer. No probaron modelos más nuevos como o3-mini de OpenAI o R1 de DeepSeek de China.

Modelo de la semana

Una empresa china de IA llamada Stepfun lanzó un modelo de IA "abierto" llamado Step-Audio que puede entender y generar discurso en chino, inglés y japonés. Los usuarios incluso pueden ajustar la emoción y el dialecto del audio sintético, incluyendo el canto.

Stepfun es una de varias startups chinas de IA bien financiadas que lanzan modelos con licencias permisivas. Fundada en 2023, recientemente cerraron una ronda de financiación por cientos de millones de inversores, incluyendo firmas de capital privado estatales chinas.

Miscelánea

Nous Research DeepHermes

Créditos de la imagen: Nous Research
Nous Research, un grupo de investigación de IA, afirma haber lanzado uno de los primeros modelos de IA que combina razonamiento con "capacidades intuitivas de modelos de lenguaje."

Su modelo, DeepHermes-3 Preview, puede alternar entre cadenas de pensamiento cortas y largas para equilibrar precisión y poder computacional. En modo "razonamiento", tarda más en resolver problemas más difíciles y muestra su proceso de pensamiento a lo largo del camino.

Se informa que Anthropic planea lanzar un modelo similar pronto, y OpenAI dice que está en su hoja de ruta a corto plazo.

Artículo relacionado
El Armagedón del PHP: OpenAI y los expertos de Google descubren vulnerabilidades antiguas, lo que desata el pánico en Internet El Armagedón del PHP: OpenAI y los expertos de Google descubren vulnerabilidades antiguas, lo que desata el pánico en Internet La Agencia de Seguridad Nacional de EE. UU. emitió el miércoles una alerta crítica sobre dos vulnerabilidades graves en PHP, para las que la Fundación PHP ya ha publicado parches.Como lenguaje de prog
OpenAI lanza GPT-5.5 Instant como el nuevo modelo predeterminado de ChatGPT OpenAI lanza GPT-5.5 Instant como el nuevo modelo predeterminado de ChatGPT OpenAI lanzó GPT-5.5 Instant el lunes, reemplazando a GPT-5.3 Instant como el modelo predeterminado de ChatGPT. La empresa afirma que esta actualización minimiza las alucinaciones en campos de alto riesgo como el derecho, la medicina y las finanzas,
Nvidia obtendrá el 25% de los ingresos del próximo año de laboratorios financiados Nvidia obtendrá el 25% de los ingresos del próximo año de laboratorios financiados Nvidia ha invertido casi 50 000 millones de dólares en laboratorios de IA para la compra de sus chips, asegurando compromisos por un total superior a 500 000 millones de dólares.El 26 de agosto, la directora financiera Colette Kress informó a los ana
Recomendaciones de temas especiales relacionados
Diseño y Arte Las mejores herramientas de ilustración con IA: crea escenas editoriales y portadas más rápido
Las mejores herramientas de ilustración con IA: crea escenas editoriales y portadas más rápido

Las mejores herramientas de ilustración con IA de 2026: nuestra lista seleccionada incluye las mejores herramientas, diseñadas con gran potencia, para crear rápidamente impresionantes escenas editoriales y llamativas portadas. Cada opción ha sido sometida a rigurosas pruebas en condiciones reales y ofrece una comparación entre las versiones gratuitas y de pago para ayudarte a encontrar la que mejor se adapte a tu flujo de trabajo. Prueba hoy mismo estas soluciones imprescindibles para sacar el máximo partido a la IA y potenciar tu productividad creativa. Descúbrelas ahora en XIX.AI.

10 herramientas
xix.ai
Educación y aprendizaje Los mejores profesores particulares de IA para la preparación de exámenes: practica matemáticas, ciencias e inglés
Los mejores profesores particulares de IA para la preparación de exámenes: practica matemáticas, ciencias e inglés

¡Ya están aquí, en XIX.AI, los mejores tutores de IA para la preparación de exámenes de 2026, con las mejores valoraciones! Nuestra lista seleccionada incluye potentes herramientas revolucionarias que ofrecen comparativas entre versiones gratuitas y de pago, pruebas reales y clasificaciones actualizadas semanalmente. Te ayudan a mejorar tu eficiencia a la hora de escribir, a simplificar el aprendizaje de temas complejos y a desarrollar todo tu potencial académico. ¡Explora ahora mismo para descubrir tu herramienta perfecta de preparación de exámenes y empieza a crear hoy mismo para sacar partido a tu ventaja con la IA!

10 herramientas
xix.ai
Finanzas Herramientas de planificación presupuestaria con IA para la gestión personal del dinero
Herramientas de planificación presupuestaria con IA para la gestión personal del dinero

2026 Últimas Mejores Herramientas de Planificación Presupuestaria con IA Mejor Valoradas para la Gestión Personal del Dinero están aquí en XIX.AI. Esta colección seleccionada presenta soluciones poderosas y transformadoras que te ayudan a realizar pruebas en el mundo real, comprender tus hábitos de gasto y crear planes personalizados para aumentar la productividad. Disfruta de una comparación entre versiones gratuitas y de pago junto con clasificaciones detalladas. Herramientas imprescindibles diseñadas para simplificar la gestión del dinero y desbloquear tu ventaja con IA. ¡Explóralas ahora!

11 herramientas
xix.ai
Salud y bienestar Asistentes de seguimiento del sueño basados en IA: mejora tu recuperación con mejores hábitos a la hora de acostarte
Asistentes de seguimiento del sueño basados en IA: mejora tu recuperación con mejores hábitos a la hora de acostarte

Los mejores asistentes de seguimiento del sueño con IA de 2026, seleccionados para una recuperación óptima. Esta guía semanal totalmente actualizada incluye potentes herramientas que ofrecen pruebas en condiciones reales, comparativas entre opciones gratuitas y de pago, y clasificaciones detalladas para ayudarte a encontrar la solución imprescindible que mejora la calidad del sueño y fomenta mejores hábitos a la hora de acostarse. Descúbrelo ahora en XIX.AI y aprovecha todas las ventajas de la IA.

10 herramientas
xix.ai
Análisis de datos Copilotos de IA y SQL para el análisis de productos e ingresos
Copilotos de IA y SQL para el análisis de productos e ingresos

¡Los mejores copilotos de IA para SQL mejor valorados de 2026 para el análisis de productos e ingresos! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder y que se someten a pruebas en el mundo real a través de clasificaciones que se actualizan semanalmente. Estas herramientas ayudan a los usuarios a aumentar significativamente su productividad al acelerar el análisis de datos, simplificar consultas complejas y generar información precisa para tomar decisiones empresariales más inteligentes. ¡Explora ahora mismo y descubre la herramienta perfecta para sacar el máximo partido a tu ventaja en IA!

14 herramientas
xix.ai
Educación y aprendizaje Las mejores herramientas de IA para los deberes que realmente enseñan: aprende conceptos, no solo respuestas
Las mejores herramientas de IA para los deberes que realmente enseñan: aprende conceptos, no solo respuestas

2026: los mejores y más valorados asistentes de deberes con IA que enseñan conceptos básicos, no solo respuestas. Potentes herramientas para estudiantes. Una selección imprescindible que debes probar. Actualización semanal. Comparativa entre opciones gratuitas y de pago. Pruebas en el mundo real. Clasificaciones precisas para ayudarte a desarrollar todo tu potencial de aprendizaje. Explora ahora y descubre la herramienta perfecta para estudiar de forma más inteligente.

10 herramientas
xix.ai
comentario (62)
0/500
DavidGreen
DavidGreen 17 de junio de 2026 10:00:23 GMT+02:00

I mean, benchmarks are just a snapshot—does anyone really trust them when companies train models specifically to ace them? 🤔 Might be better to focus on real-world performance rather than chasing numbers on a leaderboard.

JonathanDavis
JonathanDavis 19 de agosto de 2025 08:26:53 GMT+02:00

AI benchmarks are getting so hyped, but are they even reliable yet? 🤔 Feels like companies just cherry-pick numbers to flex. I’d rather see real-world use cases than some random leaderboard scores.

EdwardWalker
EdwardWalker 19 de agosto de 2025 07:00:59 GMT+02:00

AI benchmarks are getting so hyped, but are they even reliable yet? Feels like we're chasing numbers instead of real progress. 🤔 What do you all think—should we just ignore them for now?

HarrySmith
HarrySmith 11 de agosto de 2025 21:00:59 GMT+02:00

AI benchmarks are cool, but are they just tech flexing? I’d rather see real-world uses than numbers on a chart. 🤔

BillyLewis
BillyLewis 4 de agosto de 2025 08:01:00 GMT+02:00

AI benchmarks sound cool, but are they just overhyped numbers? I’m curious if they really tell us anything useful about real-world performance. 🧐

JimmyWilson
JimmyWilson 1 de agosto de 2025 04:48:18 GMT+02:00

AI benchmarks sound fancy, but are they just tech flexing? I mean, cool numbers, but do they really tell us how AI vibes in the real world? 🤔

OR