AI puntos de referencia: ¿Deberíamos ignorarlos por ahora?

# openai # xai

¡Bienvenido al boletín de IA regular de TechCrunch! Estamos tomando un pequeño descanso, pero no se preocupe, aún puede obtener toda nuestra cobertura de IA, incluidas mis columnas, análisis diario y noticias de última hora, aquí en TechCrunch. ¿Quieres llevar estas historias directamente a tu bandeja de entrada todos los días? Solo regístrese para nuestros boletines diarios aquí.

Esta semana, la startup de IA de Elon Musk, XAI, lanzó su último modelo de IA insignia, Grok 3, que está impulsando las aplicaciones Grok Chatbot de la compañía. Lo entrenaron en la friolera de 200,000 GPU, y está superando a un montón de otros modelos superiores, incluidos algunos de OpenAi, en puntos de referencia para matemáticas, codificación y más.

Pero hablemos de lo que realmente significan estos puntos de referencia.

Aquí en TC, informamos sobre estos números de referencia, incluso si no siempre estamos encantados, porque son una de las pocas formas en que la industria de la IA intenta mostrar cómo están mejorando sus modelos. La cuestión es que estos puntos de referencia populares de IA a menudo se centran en cosas oscuras y dan puntajes que realmente no reflejan qué tan bien la IA hace las cosas que a la gente realmente les importa.

Ethan Mollick, profesor de Wharton, recurrió a X para decir que hay una necesidad real de mejores pruebas y grupos independientes para administrarlas. Señaló que las compañías de IA a menudo informan sus propios resultados de referencia, lo que hace que sea difícil confiar por completo.

"Los puntos de referencia públicos son 'meh' y saturados, dejando que muchas pruebas de IA sean como revisiones de alimentos, basadas en el gusto", escribió Mollick. "Si la IA es fundamental para trabajar, necesitamos más".

Hay muchas personas tratando de encontrar nuevos puntos de referencia para la IA, pero nadie puede estar de acuerdo en lo que es mejor. Algunos piensan que los puntos de referencia deberían centrarse en el impacto económico para ser útil, mientras que otros creen que la adopción y utilidad del mundo real son las verdaderas medidas de éxito.

Este debate podría continuar para siempre. Tal vez, como sugiere el usuario de X Roon, deberíamos prestar menos atención a los nuevos modelos y puntos de referencia a menos que haya un gran avance de la IA. Puede ser mejor para nuestra cordura, incluso si eso significa perderse una exageración de AI.

Como se mencionó, esta semana en AI se está tomando un descanso. Gracias por quedarse con nosotros, lectores, a través de todos los altibajos. Hasta la próxima.

Noticias

Operai está tratando de "sin censurar" ChatGPT. Max escribió sobre cómo están cambiando su enfoque para el desarrollo de la IA para adoptar la "libertad intelectual", incluso en temas duros o controvertidos.

Mira Murati, ex CTO de Operai, tiene una nueva startup llamada Thinking Machines Lab. Están trabajando en herramientas para "hacer que la IA funcione para las necesidades y objetivos únicos [de las personas]".

XAI lanzó Grok 3 y agregó nuevas funciones a las aplicaciones Grok para iOS y la web.

Meta está organizando su primera conferencia de desarrolladores centrada en la IA generativa esta primavera. Se llama Llamacon, después de sus modelos de llama, y ​​está sucediendo el 29 de abril.

Paul escribió sobre Openeurollm, un proyecto de alrededor de 20 organizaciones para construir modelos de base para "IA transparente en Europa" que respeta la "diversidad lingüística y cultural" de todos los idiomas de la UE.

Documento de investigación de la semana

Los investigadores de Operai han presentado un nuevo punto de referencia de IA llamado Swe-Lancer para probar qué tan bien la IA puede codificar. Está compuesto por más de 1,400 tareas de ingeniería de software independiente, desde solucionar errores y agregar características a proponer implementaciones técnicas.

Operai dice que el modelo de mejor rendimiento, el soneto Claude 3.5 de Anthrope, solo obtuvo un puntaje 40.3% en el punto de referencia Swe-Lancer completo, que muestra que AI todavía tiene un largo camino por recorrer. No probaron modelos más nuevos como el O3-Mini de OpenAi o el R1 de Deepseek de China.

Modelo de la semana

Una compañía de IA china llamada Stepfun lanzó un modelo de IA "abierto" llamado Audio de Step-Step que puede comprender y generar discurso en chino, inglés y japonés. Los usuarios incluso pueden ajustar la emoción y el dialecto del audio sintético, incluido el canto.

STEPFUN es una de las varias nuevas empresas de IA china bien financiadas que liberan modelos con licencias permisivas. Fundada en 2023, recientemente cerraron una ronda de fondos por valor de cientos de millones de inversores, incluidas las empresas de capital privado de propiedad estatal china.

Bolsa de agarre

Nous Research, un grupo de investigación de IA, afirma haber publicado uno de los primeros modelos de IA que combina el razonamiento con "capacidades del modelo de lenguaje intuitivo".

Su modelo, Deephermes-3 previa, puede cambiar entre "cadenas de pensamiento" cortas y largas para equilibrar la precisión y la potencia computacional. En el modo de "razonamiento", lleva más tiempo resolver problemas más difíciles y muestra su proceso de pensamiento en el camino.

Según los informes, Anthrope planea lanzar un modelo similar pronto, y OpenAi dice que está en su hoja de ruta a corto plazo.

Artículo relacionado

Comentario (55)