Vals, respaldado por Andreessen, apunta al liderazgo en evaluación de benchmarks de IA

El benchmarking se ha convertido en el estándar de la industria para que las empresas de inteligencia artificial validen las capacidades de sus modelos, aprovechen métricas favorables para diferenciarse de la competencia y comercialicen su superioridad. En resumen, unos resultados sólidos en los benchmarks casi siempre se traducen en una relación pública positiva.

Desafortunadamente, las empresas también han descubierto formas de manipular los sistemas de benchmarking tradicionales, muchos de los cuales están desactualizados y no están diseñados para evaluar las capacidades de los modelos modernos de inteligencia artificial.

Vals, una startup fundada en 2024, tiene como objetivo corregir este sistema defectuoso. En menos de dos años, la empresa se ha consolidado como un actor importante en el sector tecnológico, asegurando una ronda de inversión inicial (seed round) liderada por 8VC y Bloomberg Beta el año pasado. Más recientemente, tras un período de rápida expansión, recaudó 40 millones de dólares en una ronda Serie A liderada por Andreessen Horowitz.

Rayan Krishnan, cofundante de 25 años de la compañía, anteriormente realizó prácticas en Palantir y, como estudiante de pregrado en Stanford, trabajó para Microsoft y el reconocido laboratorio de inteligencia artificial de la universidad. Krishnan explica que Vals nació a partir de sus observaciones de que el benchmarking no lograba mantener el ritmo de los rápidos avances en la industria que se suponía debía medir.

«Estábamos viendo llegar rápidamente al mercado un montón de nuevos modelos muy capaces, y los benchmarks académicos no seguían ese avance de vanguardia», señala Krishnan. Dado que la inteligencia artificial se está integrando en todos los aspectos de la sociedad, los benchmarks deberían servir para verificar que los modelos realmente puedan realizar lo que las empresas afirman que pueden hacer, añade Krishnan.

La semana pasada, el joven fundador me hizo un recorrido por las dos plantas de la oficina de su empresa en la calle Folsom de San Francisco, un antiguo edificio de ladrillo que, hace un siglo, albergaba una gran cervecería. En lugar de producir cerveza, esta estructura histórica alberga ahora varias startups que buscan dar forma al futuro de la industria tecnológica.

«Históricamente, creo que la evaluación se ha realizado de una manera muy abstracta para medir la inteligencia», explica Krishnan. «Es decir, ¿los modelos saben suficiente información como para poder aprobar un tipo de examen de la barra de abogados?»

Aquí es donde Vals busca diferenciarse. Mientras que muchos sistemas de benchmarking ofrecen pruebas de acceso público (lo que puede permitir a las empresas entrenar sus modelos contra esas pruebas, engañando efectivamente en sus exámenes), Vals no divulga públicamente sus materiales de prueba específicos. En lugar de medir el conocimiento general de un modelo de inteligencia artificial, Vals también evalúa la capacidad de los modelos para completar tareas complejas asociadas con industrias específicas como el derecho, las finanzas y la programación.

«Lo que estamos haciendo es examar realmente cuáles son los impactos reales de los modelos», dice Krishnan. «¿Pueden realizar trabajos que produzcan un producto de la misma calidad que un ser humano en cada dominio?»

El objetivo es verificar no solo los resultados positivos, sino también los negativos, explica. La esperanza es analizar cómo, «si estos modelos actuaran sin control en el mundo, cuáles serían las implicaciones negativas».

Las capacidades que mide Vals se están ampliando. Además de industrias más tradicionales, la startup continúa explorando dominios únicos. «Tenemos un benchmark sobre mejora recursiva propia. Estamos realizando algunos trabajos en salud mental, ciberseguridad, bioseguridad e incluso en la ley del conflicto armado para evaluar cómo los modelos entienden cómo aplicar la Convención de Ginebra», comparte Krishnan.

Las empresas pagan a Vals para probar sus modelos, un concepto que puede parecer contraintuitivo. ¿Por qué pagaría una empresa para descubrir que su modelo no funciona bien? Sin embargo, contar con una medición efectiva ayuda a las empresas a solucionar problemas y mejorar con el tiempo. Krishnan compara su modelo de ingresos con la forma en que un estudiante podría pagar al College Board para realizar el SAT.

A su vez, estas evaluaciones se están convirtiendo en factores clave de toma de decisiones para las empresas que buscan adquirir nuevos modelos de inteligencia artificial.

La startup reveló recientemente que sus ingresos actuales son ocho veces mayores que los del año pasado. Su personal también está en expansión. Vals, que comenzó el año con solo ocho personas, ya ha triplicado su tamaño hasta un equipo de 25 personas. Krishnan declaró que, a medida que la startup crezca, el plan es mudarse a una oficina significativamente más grande y contratar a otras 10 a 15 personas. La empresa también lanzó recientemente un programa centrado en proporcionar evaluaciones de modelos a agencias federales.

Krishnan ve el sistema de benchmarking de su empresa como el futuro de cómo las empresas de inteligencia artificial piensan en hacer crecer sus negocios y establecer confianza pública.

«Las empresas de inteligencia artificial están comenzando a salir a bolsa. SpaceX salió a bolsa. Anthropic está programada para finales de este año. Sospecho que OpenAI saldrá a bolsa pronto. Creo que, a medida que los modelos de inteligencia artificial se conviertan en una parte fundamental de la economía y se difundan más ampliamente, los tipos de benchmarks y evaluaciones que realizamos van a impulsar su uso y serán una parte central de cómo estas empresas presentan declaraciones públicas o hablan sobre las inversiones prospectivas que van a realizar en inteligencia artificial», dijo.