Benchmarks AI: devrions-nous les ignorer pour l'instant?

# openai # xai

Bienvenue dans la newsletter régulière de l'IA de TechCrunch! Nous faisons une petite pause, mais ne vous inquiétez pas, vous pouvez toujours obtenir toute notre couverture d'IA, y compris mes colonnes, mes analyses quotidiennes et les dernières nouvelles, ici chez TechCrunch. Vous voulez obtenir ces histoires directement dans votre boîte de réception tous les jours? Inscrivez-vous simplement à nos newsletters quotidiens ici.

Cette semaine, la startup d'IA d'Elon Musk, XAI, a abandonné son dernier modèle phare d'IA, Grok 3, qui alimente les applications de chatbot Grok de l'entreprise. Ils l'ont formé sur un énorme 200 000 GPU, et cela surpasse un tas d'autres meilleurs modèles, dont certains d'Openai, dans des références pour les mathématiques, le codage, etc.

Mais parlons de ce que signifient réellement ces repères.

Chez TC, nous rapportons ces numéros de référence, même si nous n'en sommes pas toujours ravis, car ils sont l'une des rares façons dont l'industrie de l'IA essaie de montrer comment leurs modèles s'améliorent. Le fait est que ces repères d'IA populaires se concentrent souvent sur des choses obscures et donnent des scores qui ne reflètent pas vraiment la façon dont l'IA fait les choses que les gens se soucient réellement.

Ethan Mollick, professeur à Wharton, s'est rendu chez X pour dire qu'il y a un réel besoin pour de meilleurs tests et des groupes indépendants pour les gérer. Il a souligné que les entreprises d'IA signalent souvent leurs propres résultats de référence, ce qui rend difficile de leur faire confiance.

"Les références publiques sont à la fois« meh »et saturées, laissant beaucoup de tests sur l'IA comme des critiques alimentaires, en fonction du goût», a écrit Mollick. "Si l'IA est essentielle pour travailler, nous en avons besoin de plus."

Il y a beaucoup de gens qui essaient de proposer de nouvelles repères pour l'IA, mais personne ne peut s'entendre sur ce qui est le mieux. Certains pensent que les repères devraient se concentrer sur l'impact économique pour être utile, tandis que d'autres croient que l'adoption et l'utilité du monde réel sont les véritables mesures du succès.

Ce débat pourrait continuer pour toujours. Peut-être que, comme le suggère de X User Roon, nous devrions simplement prêter moins d'attention aux nouveaux modèles et références à moins qu'il n'y ait une percée d'IA majeure. Cela pourrait être mieux pour notre santé mentale, même si cela signifie manquer un battage médiatique d'IA.

Comme mentionné, cette semaine dans l'IA fait une pause. Merci de rester avec nous, les lecteurs, à travers tous les hauts et les bas. Jusqu'à la prochaine fois.

Nouvelles

Openai essaie de "Uncensor" Chatgpt. Max a écrit sur la façon dont ils changent leur approche au développement de l'IA pour adopter la «liberté intellectuelle», même sur des sujets difficiles ou controversés.

Mira Murati, ancien CTO d'Openai, a une nouvelle startup appelée Thinking Machines Lab. Ils travaillent sur des outils pour "faire fonctionner l'IA pour les besoins et les objectifs uniques [des gens]".

XAI a sorti Grok 3 et a ajouté de nouvelles fonctionnalités aux applications Grok pour iOS et le Web.

Meta organise sa première conférence de développeur axée sur l'IA génératrice ce printemps. Cela s'appelle Llamacon, après leurs modèles de lama, et cela se produit le 29 avril.

Paul a écrit sur OpenEurollm, un projet d'une vingtaine d'organisations pour construire des modèles de fondation pour «l'IA transparent en Europe» qui respecte la «diversité linguistique et culturelle» de toutes les langues de l'UE.

Document de recherche de la semaine

Les chercheurs d'OpenAI ont créé une nouvelle référence d'IA appelée Swe-Lancer pour tester la façon dont l'IA peut coder. Il est composé de plus de 1 400 tâches de génie logiciel indépendant, de la correction des bogues et de l'ajout de fonctionnalités pour proposer des implémentations techniques.

Openai dit que le modèle le plus performant, le sonnet Claude 3.5 d'Anthropic, n'a marqué que 40,3% sur le référence Swe-Lancer complet, qui montre que l'IA a encore un long chemin à parcourir. Ils n'ont pas testé de nouveaux modèles comme O3-Mini d'Openai ou R1 de Deepseek depuis la Chine.

Modèle de la semaine

Une société d'IA chinoise appelée StepFun a publié un modèle d'IA "ouvert" nommé Step-Audio qui peut comprendre et générer un discours en chinois, en anglais et en japonais. Les utilisateurs peuvent même modifier l'émotion et le dialecte de l'audio synthétique, y compris le chant.

Stepfun est l'une des nombreuses startups d'IA chinois bien financées libérant des modèles avec des licences permissives. Fondés en 2023, ils ont récemment clôturé un tour de financement d'une valeur de centaines de millions d'investisseurs, y compris des sociétés de capital-investissement d'État chinoises.

Sac à main

Nous Research, un groupe de recherche sur l'IA, prétend avoir publié l'un des premiers modèles d'IA qui combine le raisonnement avec des «capacités de modèle de langage intuitif».

Leur modèle, Deephermes-3 Aperçu, peut basculer entre les «chaînes de pensée» courtes et longues pour équilibrer la précision et la puissance de calcul. En mode "raisonnement", il faut plus de temps pour résoudre des problèmes plus difficiles et montre son processus de réflexion en cours de route.

Anthropic aurait bientôt prévu de publier un modèle similaire, et Openai dit que c'est sur leur feuille de route à court terme.

Article connexe

Commentaires (55)