Benchmarks AI: devrions-nous les ignorer pour l'instant?

Bienvenue à la newsletter régulière sur l'IA de TechCrunch ! Nous prenons une petite pause, mais ne vous inquiétez pas, vous pouvez toujours trouver toute notre couverture sur l'IA, y compris mes chroniques, analyses quotidiennes et actualités de dernière minute, ici même sur TechCrunch. Vous voulez recevoir ces articles directement dans votre boîte de réception chaque jour ? Inscrivez-vous simplement à nos newsletters quotidiennes ici.

Cette semaine, la startup d'IA d'Elon Musk, xAI, a lancé son dernier modèle d'IA phare, Grok 3, qui alimente les applications de chatbot Grok de l'entreprise. Ils l'ont entraîné sur pas moins de 200 000 GPU, et il surpasse un grand nombre d'autres modèles de pointe, y compris certains d'OpenAI, dans des benchmarks pour les mathématiques, le codage, et plus encore.

Mais parlons de ce que ces benchmarks signifient réellement.

Ici à TC, nous rapportons ces chiffres de benchmarks, même si nous ne sommes pas toujours ravis de le faire, car ils sont l'un des rares moyens utilisés par l'industrie de l'IA pour montrer comment leurs modèles s'améliorent. Le problème, c'est que ces benchmarks d'IA populaires se concentrent souvent sur des choses obscures et donnent des scores qui ne reflètent pas vraiment la performance de l'IA sur ce qui intéresse réellement les gens.

Ethan Mollick, professeur à Wharton, a déclaré sur X qu'il y a un réel besoin de meilleurs tests et de groupes indépendants pour les réaliser. Il a souligné que les entreprises d'IA rapportent souvent leurs propres résultats de benchmarks, ce qui rend difficile de leur faire entièrement confiance.

« Les benchmarks publics sont à la fois 'bof' et saturés, laissant beaucoup de tests d'IA ressembler à des critiques gastronomiques, basées sur le goût », a écrit Mollick. « Si l'IA est cruciale pour le travail, nous avons besoin de plus. »

Il y a beaucoup de gens qui essaient de proposer de nouveaux benchmarks pour l'IA, mais personne ne s'accorde sur ce qui est le meilleur. Certains pensent que les benchmarks devraient se concentrer sur l'impact économique pour être utiles, tandis que d'autres estiment que l'adoption dans le monde réel et l'utilité sont les véritables mesures du succès.

Ce débat pourrait durer éternellement. Peut-être, comme le suggère l'utilisateur de X Roon, devrions-nous simplement prêter moins d'attention aux nouveaux modèles et benchmarks à moins qu'il n'y ait une percée majeure en IA. Cela pourrait être meilleur pour notre santé mentale, même si cela signifie manquer un peu de l'engouement pour l'IA.

Comme mentionné, This Week in AI prend une pause. Merci de rester avec nous, lecteurs, à travers tous les hauts et les bas. À la prochaine.

Actualités

Mira Murati, ancienne CTO d'OpenAI, a une nouvelle startup appelée Thinking Machines Lab. Ils travaillent sur des outils pour « faire fonctionner l'IA selon les besoins et objectifs uniques [des gens]. »

xAI a lancé Grok 3 et ajouté de nouvelles fonctionnalités aux applications Grok pour iOS et le web.

Meta organise sa première conférence pour développeurs axée sur l'IA générative ce printemps. Elle s'appelle LlamaCon, d'après leurs modèles Llama, et aura lieu le 29 avril.

Paul a écrit sur OpenEuroLLM, un projet d'une vingtaine d'organisations pour construire des modèles de fondation pour une « IA transparente en Europe » qui respecte la « diversité linguistique et culturelle » de toutes les langues de l'UE.

Article de recherche de la semaine

OpenAI indique que le modèle le plus performant, Claude 3.5 Sonnet d'Anthropic, nelige 40,3 % sur l'ensemble du benchmark SWE-Lancer, ce qui montre que l'IA a encore du chemin à parcourir. Ils n'ont pas testé de modèles plus récents comme o3-mini d'OpenAI ou R1 de DeepSeek en Chine.

Modèle de la semaine

Une entreprise d'IA chinoise appelée Stepfun a lancé un modèle d'IA « ouvert » nommé Step-Audio qui peut comprendre et générer de la parole en chinois, anglais et japonais. Les utilisateurs peuvent même ajuster l'émotion et le dialecte de l'audio synthétique, y compris le chant.

Stepfun est l'une des nombreuses startups d'IA chinoises bien financées qui publient des modèles avec des licences permissives. Fondée en 2023, elle a récemment conclu une levée de fonds de plusieurs centaines de millions auprès d'investisseurs, y compris des sociétés d'investissement privées appartenant à l'État chinois.

Mélange

Leur modèle, DeepHermes-3 Preview, peut passer de courtes à longues « chaînes de pensée » pour équilibrer précision et puissance de calcul. En mode « raisonnement », il prend plus de temps pour résoudre des problèmes plus difficiles et montre son processus de réflexion en cours de route.

Anthropic prévoirait de lancer un modèle similaire bientôt, et OpenAI dit que c'est sur leur feuille de route à court terme.