Composo: мониторинг производительности приложения AI для предприятий

ИИ и большие языковые модели (LLMs) очень перспективны, но будем честны — они могут быть нестабильными. Никто точно не знает, когда все проблемы будут устранены, поэтому неудивительно, что стартапы активно помогают бизнесу убедиться, что приложения на базе LLM работают как надо.

Представляем Composo, стартап из Лондона, который считает, что у него есть преимущество в решении этой задачи. Они разработали кастомные модели, которые помогают компаниям проверять точность и качество их приложений на базе LLM.

Composo не одиноки в этом поле; им противостоят Agenta, Freeplay, Humanloop и LangSmith, которые также пытаются предложить лучший способ тестирования приложений на базе LLM, вместо использования людей, чек-листов или устаревших инструментов. Но Composo утверждает, что отличается, предлагая как no-code вариант, так и API. Это значит, что использовать их решение могут не только разработчики — эксперты по доменам и руководители тоже могут проверять приложения на несоответствия, качество и точность.

Вот как это работает: Composo сочетает модель вознаграждения, обученную на ожиданиях пользователей от ИИ-приложений, с конкретными критериями для приложения. Затем она оценивает, насколько выходные данные приложения соответствуют этим критериям. Например, если у вас есть чат-бот для медицинской сортировки, вы можете задать кастомные правила для отслеживания тревожных симптомов, и Composo покажет, насколько приложение следует этим правилам.

Они только что запустили публичный API для Composo Align, который помогает оценивать приложения на базе LLM по любым заданным критериям.

Похоже, это приносит плоды — среди их клиентов такие крупные имена, как Accenture, Palantir и McKinsey, и недавно они привлекли $2 миллиона на предпосевном раунде. Это может показаться небольшой суммой, особенно в мире ИИ, где деньги обычно текут рекой, но сооснователь и CEO Composo Себастьян Фокс говорит, что им не нужно много. «Как минимум в ближайшие три года мы не планируем привлекать сотни миллионов, потому что многие эффективно создают фундаментальные модели, и это не наша уникальность», — сказал Фокс, бывший консультант McKinsey. «Напротив, каждое утро, если я просыпаюсь и вижу новость о том, что OpenAI сделал огромный прорыв в своих моделях, это хорошо для моего бизнеса».

С новыми средствами Composo планирует усилить инженерную команду (возглавляемую сооснователем и CTO Луком Маркхэмом, бывшим инженером по машинному обучению в Graphcore), привлечь больше клиентов и ускорить исследования и разработки. «В этом году фокус в большей степени на масштабировании технологии, которая у нас уже есть, для этих компаний», — сказал Фокс.

Раунд финансирования возглавил британский фонд предпосевных инвестиций в ИИ Twin Path Ventures, с участием JVH Ventures и EWOR. EWOR уже поддерживал Composo через свою акселераторную программу. «Composo решает критический барьер в принятии корпоративного ИИ», — сказал представитель Twin Path.

Этот барьер — большая проблема для всей ИИ-сцены, особенно для бизнеса, по словам Фокса. «Люди уже пережили волну ажиотажа и теперь думают: "А действительно ли это меняет что-то в моем бизнесе в текущем виде? Потому что это недостаточно надежно и нестабильно. И даже если это так, вы не можете доказать, насколько"», — пояснил он.

Это делает Composo очень ценным для компаний, которые хотят использовать ИИ, но опасаются рисков. Поэтому они не привязаны к одной индустрии, но фокусируются на комплаенсе, юриспруденции, здравоохранении и безопасности.

Что касается отличий, Фокс говорит, что их подход сложно воспроизвести. «Это и архитектура модели, и данные, которые мы использовали для её обучения», — сказал он, отметив, что Composo Align обучен на «большом наборе данных экспертных оценок».

Конечно, технологические гиганты могут попытаться решить эту проблему, но Composo считает, что у них есть фора. «Ещё одна вещь — это данные, которые мы накапливаем со временем», — сказал Фокс, говоря о том, как они собирают предпочтения для оценок.

Поскольку Composo может оценивать приложения по гибким критериям, они также считают, что лучше подготовлены к росту агентного ИИ, чем конкуренты с более жесткими подходами. «На мой взгляд, мы точно не на том этапе, когда агенты работают хорошо, и это то, что мы пытаемся помочь решить», — сказал Фокс.

TechCrunch имеет новостную рассылку, посвящённую ИИ! Подпишитесь здесь, чтобы получать её в ваш почтовый ящик каждую среду.