Von Andreessen unterstütztes Vals zielt auf Führung im Bereich KI-Benchmarking ab

Benchmarking hat sich zum Industriestandard dafür entwickelt, wie KI-Unternehmen die Fähigkeiten ihrer Modelle validieren, günstige Metriken nutzen, um sich von Wettbewerbern zu differenzieren, und ihre Überlegenheit vermarkten. Kurz gesagt, starke Benchmark-Ergebnisse führen fast immer zu positiver Öffentlichkeitsarbeit.

Leider haben Unternehmen auch Wege gefunden, veraltete Benchmarking-Systeme zu manipulieren – viele davon sind veraltet und nicht darauf ausgelegt, die Fähigkeiten moderner KI-Modelle zu bewerten.

Vals, ein 2024 gegründetes Startup, zielt darauf ab, dieses fehlerhafte System zu korrigieren. In weniger als zwei Jahren hat sich das Unternehmen als bedeutender Akteur im Technologiesektor etabliert und sich im vergangenen Jahr mit einer Seed-Finanzierungsrunde, angeführt von 8VC und Bloomberg Beta, abgesichert. Kürzlich, nach einer Phase rascher Expansion, sicherte es sich 40 Millionen US-Dollar in einer Series-A-Finanzierungsrunde, angeführt von Andreessen Horowitz.

Rayan Krishnan, der 25-jährige Mitgründer des Unternehmens, war zuvor Praktikant bei Palantir und arbeitete als Student an der Stanford University für Microsoft sowie für das renommierte künstliche Intelligenz-Labor der Universität. Krishnan erklärt, dass Vals aus seinen Beobachtungen hervorgegangen ist, dass das Benchmarking nicht mit den rasanten Fortschritten in der Branche Schritt hielt, die es eigentlich messen sollte.

„Wir sahen, wie schnell eine Reihe neuer, sehr leistungsfähiger Modelle auf den Markt kamen, und die akademischen Benchmarks [hielten] mit dieser Frontenentwicklung nicht Schritt“, bemerkt Krishnan. Da KI in jeden Aspekt der Gesellschaft integriert wird, sollten Benchmarks dazu dienen, zu verifizieren, dass Modelle tatsächlich das leisten können, was Unternehmen behaupten, fügt Krishnan hinzu.

Letzte Woche gab der junge Gründer mir eine Führung durch das zweistöckige Büro seines Unternehmens an der Folsom Street in San Francisco – ein altes Backsteingebäude, das vor einem Jahrhundert eine große Brauerei beherbergte. Anstatt Bier herzustellen, beherbergt diese historische Struktur heute verschiedene Startups, die darauf abzielen, die Zukunft der Technologiebranche zu gestalten.

„Historisch gesehen denke ich, dass Bewertungen auf sehr abstrakte Weise durchgeführt wurden, um Intelligenz zu bewerten“, erklärt Krishnan. „Wie wissen Modelle genug Informationen, um eine Art Bar-Prüfung bestehen zu können?“

Hier möchte sich Vals differenzieren. Während viele Benchmarking-Systeme öffentlich verfügbare Tests anbieten (was Unternehmen ermöglichen kann, ihre Modelle gegen diese Tests zu trainieren und so effektiv in ihren Prüfungen zu schummeln), gibt Vals seine spezifischen Testmaterialien nicht öffentlich bekannt. Statt das Allgemeinwissen eines KI-Modells zu messen, bewertet Vals Modelle auch in ihrer Fähigkeit, komplexe Aufgaben zu erledigen, die mit bestimmten Branchen wie Recht, Finanzen und Programmierung verbunden sind.

„Was wir tun, ist tatsächlich zu untersuchen, welche realen Auswirkungen die Modelle haben“, sagt Krishnan. „Können sie Arbeiten ausführen, die in jedem Bereich ein Produkt von derselben Qualität wie ein Mensch hervorbringen?“

Das Ziel ist es, nicht nur positive Ergebnisse, sondern auch negative zu prüfen, erklärt er. Die Hoffnung ist, zu analysieren, „welche negativen Implikationen es hätte, wenn diese Modelle in der Welt unkontrolliert agieren würden.“

Die von Vals gemessenen Fähigkeiten erweitern sich. Neben traditionelleren Branchen erforscht das Startup weiterhin einzigartige Domänen. „Wir haben einen Benchmark für rekursive Selbstverbesserung. Wir arbeiten an einigen Bereichen in den Bereichen psychische Gesundheit, Cybersicherheit, Biosicherheit und sogar im Völkerrecht bewaffneter Konflikte, um Modellen zu verstehen zu geben, wie sie das Genfer Abkommen anwenden sollen“, teilt Krishnan mit.

Unternehmen zahlen Vals, um ihre Modelle zu testen, ein Konzept, das kontraintuitiv erscheinen mag. Warum würde ein Unternehmen zahlen, um herauszufinden, dass sein Modell nicht gut abschneidet? Ein wirksames Messinstrument hilft Unternehmen jedoch, Probleme zu beheben und sich im Laufe der Zeit zu verbessern. Krishnan vergleicht ihr Geschäftsmodell damit, wie ein Student dem College Board zahlt, um den SAT zu bestehen.

Im Gegenzug werden diese Bewertungen zu entscheidenden Faktoren für Unternehmen, die neue KI-Modelle erwerben möchten.

Das Startup hat kürzlich bekannt gegeben, dass sein Umsatz derzeit achtmal so hoch ist wie im vergangenen Jahr. Auch das Personal wächst. Vals, das das Jahr mit nur acht Mitarbeitern begann, hat sich bereits verdreifacht und ein Team von 25 Personen erreicht. Krishnan erklärte, dass der Plan sei, mit dem Wachstum des Startups in ein deutlich größeres Büro umzuziehen und weitere 10 bis 15 Personen einzustellen. Das Unternehmen hat kürzlich auch ein Programm gestartet, das sich auf die Bereitstellung von Modellevaluierungen für Bundesbehörden konzentriert.

Krishnan betrachtet das Benchmarking-System seines Unternehmens als die Zukunft dessen, wie KI-Unternehmen über das Wachstum ihrer Geschäfte und den Aufbau öffentlichen Vertrauens nachdenken.

„KI-Unternehmen beginnen, öffentlich an die Börse zu gehen. SpaceX ist börsennotiert. Anthropic ist für später in diesem Jahr geplant. Ich vermute, dass OpenAI bald öffentlich werden wird. Ich denke, da KI-Modelle zu einem Kernbestandteil der Wirtschaft werden und breiter verbreitet sind, werden die Arten von Benchmarks und Bewertungen, die wir durchführen, ihre Nutzung vorantreiben und ein zentraler Bestandteil dessen sein, wie diese Unternehmen öffentliche Einreichungen vorlegen oder über die voraussichtlichen Investitionen sprechen, die sie in KI tätigen werden“, sagte er.