안드레센이 지원한 Vals, AI 벤치마킹 리더십 목표

벤치마킹은 AI 기업들이 모델의 능력을 검증하고, 유리한 지표를 활용해 경쟁사와 차별화하며, 자신의 우위를 마케팅하는 방식에 있어 업계 표준이 되었습니다. 간단히 말해, 강력한 벤치마킹 결과는 거의 항상 긍정적인 대외 홍보로 이어집니다.

불행히도 기업들은 오래된 벤치마킹 시스템을 조작하는 방법들도 발견해냈습니다. 이러한 시스템 중 많은 것은 시대에 뒤떨어졌으며 현대 AI 모델의 능력을 평가하도록 설계되지 않았습니다.

2024년에 설립된 스타트업 Vals는 이러한 결함이 있는 시스템을 바로잡는 것을 목표로 합니다. 2년 미만 만에 이 회사는 기술 분야에서 중요한 입지를 확립했으며, 작년 8VC와 Bloomberg Beta가 주도한 시드 라운드에서 자금을 조달했습니다. 더 최근에는 급속한 확장 기간을 거친 후, Andreessen Horowitz가 주도한 시리즈 A 라운드에서 4,000만 달러를 조달했습니다.

회사의 25세 공동 창업자 Rayan Krishnan은 이전에 Palantir에서 인턴으로 일했으며, 스탠퍼드 대학교 재학 중 Microsoft와 대학의 저명한 인공지능 연구소에서 근무했습니다. Krishnan은 Vals가 벤치마킹이 측정하고자 하는 산업의 급속한 발전 속도를 따라가지 못한다는 그의 관찰에서 비롯되었다고 설명합니다.

“우리는 시장으로 빠르게 출시되는 매우 유능한 새로운 모델들을 많이 목격했고, 학술적 벤치마크는 이러한 최전선의 진전을 따라가지 못했습니다.”라고 Krishnan은 지적합니다. AI가 사회의 모든 측면에 통합됨에 따라, 벤치마킹은 모델이 기업이 주장하는 바를 실제로 수행할 수 있는지 검증하는 역할을 해야 한다고 Krishnan은 덧붙입니다.

지난주, 젊은 창업자는 샌프란시스코 Folsom Street에 위치한 그의 회사 두 층짜리 사무실을 둘러보게 해주었습니다. 100년 전 대규모 양조장을 수용했던 낡은 벽돌 건물입니다. 맥주를 생산하는 대신, 이 역사적인 구조물은 이제 기술 산업의 미래를 형성하려는 다양한 스타트업들을 호스팅하고 있습니다.

“역사적으로, 저는 평가가 매우 추상적인 방식으로 지능을 평가하기 위해 수행되었다고 생각합니다.”라고 Krishnan은 설명합니다. “예를 들어, 모델이 바 시험과 같은 시험을 치를 수 있을 만큼 충분한 정보를 알고 있는지 묻는 식입니다.”

여기서 Vals는 자신을 차별화하고자 합니다. 많은 벤치마킹 시스템이 공개적으로 이용 가능한 테스트를 제공하여(이를 통해 기업들이 해당 테스트에 대해 모델을 훈련할 수 있어, 사실상 시험에서 부정행위를 할 수 있게 하지만), Vals는 구체적인 테스트 자료를 공개하지 않습니다. Vals는 AI 모델의 일반 지식을 측정하는 대신, 법률, 금융, 코딩과 같은 특정 산업과 관련된 복잡한 작업을 수행하는 모델의 능력도 평가합니다.

“우리가 실제로 하고 있는 것은 모델들의 실제 영향이 무엇인지 살펴보는 것입니다.”라고 Krishnan은 말합니다. “그들이 모든 분야에서 인간의 제품과 동일한 품질의 산출물을 만들어내는 작업을 수행할 수 있습니까?”

그는 목표가 긍정적인 결과뿐만 아니라 부정적인 결과도 확인하는 것이라고 설명합니다. 그의 희망은 “만약 이러한 모델들이 세상에 방치된다면 어떤 부정적인 함의가 있을지”를 분석하는 것입니다.

Vals가 측정하는 능력은 확장되고 있습니다. 더 전통적인 산업 외에도 이 스타트업은 독특한 도메인을 계속 탐색하고 있습니다. “우리는 재귀적 자기 개선에 대한 벤치마크를 가지고 있습니다. 우리는 정신 건강, 사이버 보안, 바이오 보안, 심지어 무력 충돌법 모델에 대한 작업도 수행하고 있어 제네바 협정의 적용 방법을 이해하도록 합니다.”라고 Krishnan은 공유합니다.

기업들은 Vals에 모델 테스트를 의뢰하기 위해 지불합니다. 이 개념은 직관적으로 반대되는 것처럼 보일 수 있습니다. 왜 기업은 자신의 모델이 잘 수행되지 않는다는 사실을 발견하기 위해 지불할까요? 그러나 효과적인 측정은 기업들이 시간이 지남에 따라 문제를 진단하고 개선하는 데 도움이 됩니다. Krishnan은 그들의 수익 모델을 학생이 SAT를 보기 위해 College Board에 지불하는 방식에 비유합니다.

이러한 평가들은 새로운 AI 모델을 인수하려는 기업들에게 주요 의사 결정 요소가 되고 있습니다.

이 스타트업은 최근 매출이 작년의 8배에 달한다고 밝혔습니다. 직원 수도 확장되고 있습니다. 올해 초 8명으로 시작된 Vals는 이미 25명의 팀으로 3배로 불렀습니다. Krishnan은 스타트업이 성장함에 따라 훨씬 더 큰 사무실로 이전하고 추가로 10명에서 15명을 고용할 계획이라고 밝혔습니다. 또한 회사는 최근 연방 기관에 모델 평가를 제공하는 프로그램도 출시했습니다.

Krishnan은 그의 회사의 벤치마킹 시스템을 AI 기업들이 사업을 성장시키고 대중의 신뢰를 구축하는 방식을 생각하는 미래로 보고 있습니다.

“AI 기업들이 상장하기 시작하고 있습니다. SpaceX가 상장했고, Anthropic은 올해 말 상장을 앞두고 있습니다. 저는 OpenAI도 곧 상장할 것으로 의심합니다. AI 모델이 경제의 핵심 부분이 되고 더 널리 확산됨에 따라, 우리가 수행하는 벤치마킹과 평가의 유형이 그들의 사용량을 주도하고, 이러한 기업들이 공개 filings을 제출하거나 향후 AI에 대해 수행할 투자에 대해 논의하는 방식의 중심 부분이 될 것입니다.”라고 그는 말했습니다.