A Vals, apoiada por Andreessen, visa liderar o setor de avaliação de benchmarks de IA

O benchmarking tornou-se o padrão da indústria para como as empresas de IA validam as capacidades de seus modelos, alavancam métricas favoráveis para se diferenciar dos concorrentes e comercializam sua superioridade. Em resumo, bons resultados em benchmarks quase sempre se traduzem em relações públicas positivas.

Infelizmente, as empresas também descobriram maneiras de manipular os sistemas de benchmarking legados — muitos dos quais estão desatualizados e não foram projetados para avaliar as capacidades dos modelos modernos de IA.

A Vals, uma startup fundada em 2024, visa corrigir esse sistema falho. Em menos de dois anos, a empresa consolidou-se como uma participante significativa no setor de tecnologia, garantindo uma rodada de investimento inicial (seed round) liderada pela 8VC e pela Bloomberg Beta no ano passado. Mais recentemente, após um período de rápida expansão, ela captou US$ 40 milhões em uma rodada Série A liderada pela Andreessen Horowitz.

Rayan Krishnan, co-fundador de 25 anos da empresa, anteriormente estagiou na Palantir e, como graduando na Stanford, trabalhou para a Microsoft e para o renomado laboratório de inteligência artificial da universidade. Krishnan explica que a Vals nasceu de suas observações de que o benchmarking estava falhando em acompanhar os rápidos avanços da indústria que se destinava a medir.

“Estávamos vendo vários novos modelos muito capazes chegarem rapidamente ao mercado, e os benchmarks acadêmicos [não] estavam acompanhando esse avanço de fronteira”, observa Krishnan. Com a IA sendo integrada a todos os aspectos da sociedade, os benchmarks deveriam servir para verificar se os modelos realmente conseguem realizar o que as empresas afirmam que podem fazer, acrescenta Krishnan.

Na semana passada, o jovem fundador me deu um tour pelo escritório de dois andares de sua empresa na Rua Folsom, em São Francisco — um antigo prédio de tijolos que, há um século, abrigava uma grande cervejaria. Em vez de produzir cerveja, essa estrutura histórica agora abriga várias startups que visam moldar o futuro da indústria de tecnologia.

“Historicamente, acho que a avaliação era feita para avaliar a inteligência de maneira muito abstrata”, explica Krishnan. “Tipo, os modelos sabem informações suficientes para conseguir passar em um tipo de exame da ordem dos advogados?”

Aqui, a Vals busca se diferenciar. Enquanto muitos sistemas de benchmarking oferecem testes publicamente disponíveis (o que pode permitir que as empresas treinem seus modelos contra esses testes, efetivamente colando em suas provas), a Vals não divulga publicamente seus materiais de teste específicos. Em vez de medir o conhecimento geral de um modelo de IA, a Vals também avalia os modelos em sua capacidade de concluir tarefas complexas associadas a setores específicos, como direito, finanças e programação.

“O que estamos fazendo é realmente olhar para quais são os impactos reais dos modelos”, diz Krishnan. “Eles podem fazer um trabalho que produza um produto da mesma qualidade de um humano em todos os domínios?”

O objetivo é verificar não apenas os resultados positivos, mas também os negativos, explica ele. A esperança é analisar como, “se esses modelos operassem livremente no mundo, quais seriam as implicações negativas.”

As capacidades medidas pela Vals estão se expandindo. Além de setores mais tradicionais, a startup continua explorando domínios únicos. “Temos um benchmark sobre melhoria recursiva por autoaperfeiçoamento. Estamos fazendo algum trabalho em saúde mental, cibersegurança, biosegurança e até mesmo na lei do conflito armado para modelos entenderem como aplicar a Convenção de Genebra”, compartilha Krishnan.

As empresas pagam à Vals para testar seus modelos, um conceito que pode parecer contra-intuitivo. Por que uma empresa pagaria para descobrir que seu modelo não está performando bem? No entanto, ter uma medição eficaz ajuda as empresas a solucionar problemas e melhorar ao longo do tempo. Krishnan compara seu modelo de receita à forma como um estudante pode pagar ao College Board para fazer o SAT.

Por sua vez, essas avaliações estão se tornando fatores-chave de tomada de decisão para empresas que buscam adquirir novos modelos de IA.

A startup revelou recentemente que sua receita atual é oito vezes maior do que era no ano passado. Sua equipe também está se expandindo. A Vals, que começou o ano com apenas oito pessoas, já triplicou para uma equipe de 25. Krishnan afirmou que, à medida que a startup cresce, o plano é se mudar para um escritório significativamente maior e contratar mais 10 a 15 pessoas. A empresa também lançou recentemente um programa focado em fornecer avaliações de modelos para agências federais.

Krishnan vê o sistema de benchmarking de sua empresa como o futuro de como as empresas de IA pensam sobre o crescimento de seus negócios e o estabelecimento de confiança pública.

“As empresas de IA estão começando a abrir capital. A SpaceX abriu capital. A Anthropic está programada para o final deste ano. Suspeito que a OpenAI se torne pública em breve. Acho que, à medida que os modelos de IA se tornam uma parte central da economia e são difundidos mais amplamente, os tipos de benchmarks e avaliações que fazemos vão impulsionar seu uso e ser uma parte central de como essas empresas submetem relatórios públicos ou falam sobre os investimentos prospectivos que farão em IA”, disse ele.