Vals, поддерживаемый Andreessen, нацелен на лидерство в области тестирования ИИ

Бенчмаркинг стал отраслевым стандартом того, как компании в сфере искусственного интеллекта проверяют возможности своих моделей, используют благоприятные метрики для выделения среди конкурентов и продвигают своё превосходство. Короче говоря, хорошие результаты бенчмаркинга почти всегда приводят к положительным публикациям в средствах массовой информации.

К сожалению, компании также нашли способы манипулировать устаревшими системами бенчмаркинга — многие из которых устарели и не предназначены для оценки возможностей современных моделей искусственного интеллекта.

Vals, стартап, основанный в 2024 году, стремится исправить эту flawed систему. Менее чем за два года компания утвердилась в качестве значимого игрока в технологическом секторе, привлек seed-раунд под руководством 8VC и Bloomberg Beta в прошлом году. Недавно, после периода быстрого расширения, она привлекла $40 миллионов в раунде Series A под руководством Andreessen Horowitz.

Rayan Krishnan, 25-летний сооснователь компании, ранее проходил стажировку в Palantir и, будучи студентом Стэнфорда, работал в Microsoft и в знаменитой лаборатории искусственного интеллекта университета. Krishnan объясняет, что Vals родился из его наблюдений за тем, что бенчмаркинг не успевает за быстрым развитием отрасли, которую он должен измерять.

«Мы видели, как на рынок быстро выходят новые, очень мощные модели, а академические бенчмарки [[не успевали]] за этим продвижением вперед», — отмечает Krishnan. Поскольку искусственный интеллект интегрируется во все аспекты общества, бенчмарки должны служить для проверки того, могут ли модели действительно выполнять то, что компании заявляют, что они могут делать, добавляет Krishnan.

На прошлой неделе молодой основатель показал мне офис своей компании на двух этажах на улице Фолсом в Сан-Франциско — старое кирпичное здание, которое сто лет назад было большой пивоварней. Вместо производства пива это историческое здание теперь размещает различные стартапы, стремящиеся сформировать будущее технологической отрасли.

«Исторически, я думаю, оценка проводилась для оценки интеллекта очень абстрактным способом», — объясняет Krishnan. «Например, знают ли модели достаточно информации, чтобы сдать экзамен типа бар-экзамена?»

Здесь Vals стремится выделиться. В то время как многие системы бенчмаркинга предлагают общедоступные тесты (которые могут позволить компаниям тренировать свои модели на этих тестах, фактически жуя на экзаменах), Vals не раскрывает публично свои конкретные тестовые материалы. Вместо измерения общих знаний модели искусственного интеллекта, Vals также оценивает модели по их способности выполнять сложные задачи, связанные с конкретными отраслями, такими как право, финансы и программирование.

«То, что мы делаем, — это фактически посмотреть, каковы реальные последствия моделей», — говорит Krishnan. «Могут ли они выполнять работу, которая производит продукт того же качества, что и человек, в каждой области?»

Цель состоит в том, чтобы проверять не только положительные результаты, но и отрицательные, объясняет он. Надежда заключается в том, чтобы проанализировать, «если бы эти модели действовали свободно в мире, каковы были бы негативные последствия».

Возможности, которые измеряет Vals, расширяются. Помимо более традиционных отраслей, стартап продолжает исследовать уникальные домены. «У нас есть бенчмарк на рекурсивное самосовершенствование. Мы проводим некоторые работы в области психического здоровья, кибербезопасности, биобезопасности и даже права вооруженных конфликтов, чтобы модели понимали, как применять Женевскую конвенцию», — делится Krishnan.

Компании платят Vals за тестирование своих моделей, что может показаться контринтуитивным. Почему компания должна платить за то, чтобы узнать, что её модель работает плохо? Однако наличие эффективного измерения помогает компаниям устранять неполадки и улучшаться со временем. Krishnan сравнивает свою модель доходов с тем, как студент может заплатить College Board за сдачу SAT.

В свою очередь, эти оценки становятся ключевыми факторами принятия решений для компаний, стремящихся приобрести новые модели искусственного интеллекта.

Стартап недавно объявил, что его доход в настоящее время в восемь раз больше, чем был в прошлом году. Его штат также расширяется. Vals, который начал год всего с восемью людьми, уже утроился до команды из 25 человек. Krishnan заявил, что по мере роста стартапа план состоит в переезде в значительно больший офис и найме еще 10–15 человек. Компания также недавно запустила программу, ориентированную на предоставление оценок моделей федеральным агентствам.

Krishnan рассматривает систему бенчмаркинга своей компании как будущее того, как компании в сфере искусственного интеллекта думают о росте своего бизнеса и установлении общественного доверия.

«Компании в сфере искусственного интеллекта начинают выходить на публичный рынок. SpaceX вышла на публичный рынок. Anthropic запланирована на конец этого года. Я подозреваю, что OpenAI скоро выйдет на публичный рынок. Я думаю, что по мере того, как модели искусственного интеллекта станут основной частью экономики и будут более широко распространены, типы бенчмарков и оценок, которые мы проводим, будут определять их использование и станут центральной частью того, как эти компании подают публичные документы или говорят о перспективных инвестициях, которые они собираются сделать в искусственный интеллект», — сказал он.