Vals, soutenu par Andreessen, vise la direction en matière d’évaluation des benchmarks de l’IA

Le benchmarking est devenu la norme de l’industrie pour la manière dont les entreprises d’intelligence artificielle valident les capacités de leurs modèles, exploitent des indicateurs favorables pour se différencier de leurs concurrents et commercialisent leur supériorité. En bref, de solides résultats aux benchmarks se traduisent presque toujours par une communication positive.

Malheureusement, les entreprises ont également découvert des moyens de manipuler les systèmes de benchmarking traditionnels — dont beaucoup sont obsolètes et n’ont pas été conçus pour évaluer les capacités des modèles d’IA modernes.

Vals, une startup fondée en 2024, vise à corriger ce système défectueux. En moins de deux ans, l’entreprise s’est imposée comme un acteur majeur du secteur technologique, ayant levé une ronde de seed dirigée par 8VC et Bloomberg Beta l’année dernière. Plus récemment, après une période d’expansion rapide, elle a levé 40 millions de dollars dans le cadre d’une ronde Série A dirigée par Andreessen Horowitz.

Rayan Krishnan, le cofondateur de 25 ans de l’entreprise, a précédemment fait un stage chez Palantir et, en tant qu’étudiant de premier cycle à Stanford, a travaillé pour Microsoft et le célèbre laboratoire d’intelligence artificielle de l’université. Krishnan explique que Vals est né de ses observations selon lesquelles le benchmarking ne parvenait pas à suivre le rythme des avancées rapides dans l’industrie qu’il était censé mesurer.

« Nous voyions arriver rapidement sur le marché un certain nombre de nouveaux modèles très performants, et les benchmarks académiques ne suivaient pas cette avance de pointe », note Krishnan. Avec l’intégration de l’IA dans tous les aspects de la société, les benchmarks devraient servir à vérifier que les modèles peuvent réellement effectuer ce que les entreprises affirment pouvoir faire, ajoute Krishnan.

La semaine dernière, le jeune fondateur m’a fait visiter les deux étages de son bureau situé dans la rue Folsom à San Francisco — un ancien bâtiment en briques qui, il y a un siècle, abritait une grande brasserie. Au lieu de produire de la bière, cette structure historique accueille désormais diverses startups visant à façonner l’avenir du secteur technologique.

« Historiquement, je pense que l’évaluation a été réalisée de manière très abstraite pour évaluer l’intelligence », explique Krishnan. « Par exemple, les modèles disposent-ils de suffisamment d’informations pour passer un type d’examen d’entrée au barreau ? »

C’est ici que Vals cherche à se différencier. Alors que de nombreux systèmes de benchmarking proposent des tests accessibles au public (ce qui permet aux entreprises d’entraîner leurs modèles sur ces tests, trichant ainsi efficacement à leurs examens), Vals ne divulgue pas publiquement ses supports de test spécifiques. Au lieu de mesurer les connaissances générales d’un modèle d’IA, Vals évalue également les modèles sur leur capacité à accomplir des tâches complexes associées à des secteurs spécifiques tels que le droit, la finance et la programmation.

« Ce que nous faisons, c’est examiner quels sont les impacts réels des modèles », dit Krishnan. « Peuvent-ils effectuer un travail produisant un résultat de même qualité qu’un humain dans chaque domaine ? »

L’objectif est de vérifier non seulement les résultats positifs, mais aussi les négatifs, explique-t-il. L’espoir est d’analyser comment, « si ces modèles se déchaînaient dans le monde, quelles seraient les implications négatives ».

Les capacités mesurées par Vals s’étendent. Outre des secteurs plus traditionnels, la startup continue d’explorer des domaines uniques. « Nous avons un benchmark sur l’amélioration récursive de soi. Nous travaillons également sur la santé mentale, la cybersécurité, la biosécurité et même le droit des conflits armés pour aider les modèles à comprendre comment appliquer la Convention de Genève », partage Krishnan.

Les entreprises paient Vals pour tester leurs modèles, un concept qui peut sembler contre-intuitif. Pourquoi une entreprise paierait-elle pour découvrir que son modèle ne performe pas bien ? Cependant, disposer d’une mesure efficace aide les entreprises à diagnostiquer et à s’améliorer au fil du temps. Krishnan compare leur modèle de revenus à la manière dont un étudiant paie le College Board pour passer le SAT.

À leur tour, ces évaluations deviennent des facteurs clés de prise de décision pour les entreprises cherchant à acquérir de nouveaux modèles d’IA.

La startup a récemment révélé que ses revenus sont actuellement huit fois supérieurs à ceux de l’année dernière. Son effectif est également en expansion. Vals, qui a commencé l’année avec seulement huit personnes, a déjà triplé pour atteindre une équipe de 25 personnes. Krishnan a déclaré que, à mesure que la startup grandit, le plan est de déménager dans un bureau significativement plus grand et de recruter 10 à 15 personnes supplémentaires. L’entreprise a également récemment lancé un programme axé sur la fourniture d’évaluations de modèles aux agences fédérales.

Krishnan considère le système de benchmarking de son entreprise comme l’avenir de la manière dont les entreprises d’IA réfléchissent à la croissance de leurs activités et à l’établissement de la confiance du public.

« Les entreprises d’IA commencent à entrer en bourse. SpaceX est entrée en bourse. Anthropic est prévue pour plus tard cette année. Je soupçonne qu’OpenAI entrera bientôt en bourse. Je pense qu’à mesure que les modèles d’IA deviennent une partie centrale de l’économie et se diffusent plus largement, les types de benchmarks et d’évaluations que nous réalisons vont guider leur utilisation et constituer une partie centrale de la manière dont ces entreprises soumettent des déclarations publiques ou parlent des investissements prospectifs qu’elles vont réaliser dans l’IA », a-t-il déclaré.