アンドリーセン・ホロウィッツ支援のVals、AIベンチマーク分野でのリーダーシップを目指す

ベンチマークは、AI企業が自社のモデルの能力を検証し、有利な指標を活用して競合他社との差別化を図り、自社の優位性を市場にアピールするための業界標準となっています。要するに、優れたベンチマークの結果は、ほぼ常にポジティブな広報効果につながります。

残念ながら、企業たちは既存のベンチマークシステムを不正に利用する方法も見出してきました。これらのシステムの多くは時代遅れであり、現代のAIモデルの能力を評価するために設計されていません。

2024年に設立されたスタートアップ企業Valsは、この欠陥のあるシステムを是正することを目指しています。2年足らずの間に、同社は8VCとBloomberg Betaがリードしたシードラウンドを昨年獲得し、さらに最近では急速な拡大の期間を経て、アンドリーセン・ホロウィッツがリードするシリーズAラウンドで4,000万ドルの資金調達を行いました。

同社の25歳の共同創業者であるRayan Krishnan氏は、以前Palantirでインターンとして勤務し、スタンフォード大学の学部生時代にはMicrosoftおよび同大学の著名な人工知能研究所で働いた経験があります。Krishnan氏は、ベンチマークが測定対象となる業界の急速な進歩に追いついていないという自身の観察から、Valsが生まれたと説明しています。

「私たちは、非常に能力の高い新しいモデルが市場に次々と登場しているのを見てきましたが、学術的なベンチマークはそうした最先端の進歩に追いついていませんでした」とKrishnan氏は指摘します。AIが社会のあらゆる側面に統合されている現在、ベンチマークは、モデルが企業が主張する通りの機能を実際に果たせることを検証する役割を果たすべきだと、Krishnan氏は付け加えます。

先週、この若き創業者は、サンフランシスコのFolsom Streetにある同社の2階建てオフィスを見学させてくれました。これは1世紀前には大規模な醸造所が入っていた古いレンガ造りの建物です。ビールを生産するのではなく、この歴史的建造物には、現在、テクノロジー業界の未来を形作るさまざまなスタートアップ企業が拠点を構えています。

「歴史的に見て、評価は非常に抽象的な方法で知能を測定するために実施されてきたと思います」とKrishnan氏は説明します。「例えば、モデルがバー試験のようなテストを受けるために十分な情報を持っているかどうか、といったことです。」

ここで、Valsは差別化を図ります。多くのベンチマークシステムが公開テストを提供している（これにより、企業がそのテストに対してモデルを訓練し、事実上試験で不正を行うことが可能になる）のに対し、Valsは特定のテスト資料を公開しません。Valsは、AIモデルの一般的な知識を測定するだけでなく、法務、金融、コーディングといった特定の業界に関連する複雑なタスクを完了する能力についてもモデルを評価します。

「私たちが行っているのは、モデルの実際の影響が何であるかを検討することです」とKrishnan氏は言います。「各ドメインにおいて、人間と同じ品質の成果を生み出す作業をモデルが行えるかどうかを確認しています。」

彼は、目標は肯定的な結果だけでなく否定的な結果もチェックすることにあると説明します。その希望は、「もしこれらのモデルが世界中で制御不能に振る舞った場合、どのような否定的な影響が生じるか」を分析することにあります。

Valsが測定する能力は拡大しています。より伝統的な業界に加え、このスタートアップは独自のドメインの探求を続けています。「再帰的自己改善に関するベンチマークもあります。メンタルヘルス、サイバーセキュリティ、バイオセキュリティ、さらには武力紛争法におけるモデルへのジュネーブ条約の適用方法を理解させるための作業も行っています」とKrishnan氏は語ります。

企業は、モデルをテストするためにValsに支払います。この概念は一見直感に反するように思えるかもしれません。なぜ企業は、自分のモデルがうまく機能していないことを発見するために支払うのでしょうか？しかし、効果的な測定手段を持つことは、企業が長期的にトラブルシューティングを行い、改善を行うのに役立ちます。Krishnan氏は、同社の収益モデルを、学生がSATを受験するためにCollege Boardに支払う方法に例えています。

その結果、これらの評価は、新しいAIモデルの取得を検討している企業にとって、重要な意思決定要因となっています。

このスタートアップは最近、現在の収益が昨年比8倍であることを明らかにしました。スタッフも拡大しています。年初にわずか8名から始まったValsは、すでに25名のチームに3倍に拡大しました。Krishnan氏は、スタートアップの成長に伴い、より大きなオフィスへの移転計画があり、さらに10〜15名を採用する予定だと述べています。同社はまた、連邦機関へのモデル評価を提供することに焦点を当てたプログラムも最近立ち上げました。

Krishnan氏は、同社のベンチマークシステムを、AI企業がビジネスを成長させ、公衆の信頼を確立する方法を考える未来と見なしています。

「AI企業は上場し始めています。SpaceXは上場しました。Anthropicも今年後半の上場が予定されています。OpenAIもまもなく上場すると予想します。AIモデルが経済の中核的な部分となり、より広く普及するにつれて、私たちが実施するベンチマークや評価のタイプが、それらの使用を促進し、これらの企業が公開提出書類を提出したり、AIに対する将来の投資について語ったりする際の中心的な部分となるでしょう」と彼は述べました。