“ Composo：监视企业的AI应用程序性能”

AI和大型语言模型（LLMs）前景广阔，但说实话——它们有时表现得并不稳定。没人能确定何时能彻底解决所有问题，所以不意外的是，初创公司正蜂拥而至，帮助企业确保他们的LLM驱动的应用能真正达到预期效果。

Composo是一家总部位于伦敦的初创公司，认为自己在解决这个问题上占据优势。他们开发了定制模型，帮助企业检查其LLM应用的准确性和是否达标。

Composo在这个领域并非独行；他们面对的竞争对手包括Agenta、Freeplay、Humanloop和LangSmith，这些公司都试图提供一种更好的、基于LLM的应用测试方式，取代人工、清单或传统工具。但Composo表示自己与众不同，因为它同时提供无代码选项和API。这意味着更多人可以使用它，不仅仅是开发者——领域专家和高管也能参与进来，亲自检查不一致性、质量和准确性。

其工作原理如下：Composo将一个根据人们对AI应用期望训练的奖励模型与特定应用的标准相结合。然后，它会评分评估应用输出与这些标准的匹配程度。例如，如果你有一个医疗分诊聊天机器人，你可以设置自定义指南来监控关键症状，Composo会告诉你应用遵循这些规则的表现如何。

他们刚刚推出了Composo Align的公共API，可以根据你设定的任何标准评估LLM应用。

这一努力似乎正在取得回报——他们的客户名单上有Accenture、Palantir和McKinsey等大牌公司，并且他们最近获得了200万美元的种子前轮融资。这在AI世界里听起来可能不多，因为这个领域通常资金充裕，但Composo的联合创始人兼CEO Sebastian Fox表示，他们不需要太多资金。“至少在未来三年，我们不打算筹集数亿美元，因为有很多人已经在非常高效地构建基础模型，而这不是我们的独特卖点，”曾在McKinsey担任顾问的Fox说。“相反，每天早上，如果我醒来看到OpenAI在他们的模型上取得了巨大进展的新闻，对我的生意来说是好事。”

有了新资金，Composo计划加强其工程团队（由联合创始人兼CTO、前Graphcore机器学习工程师Luke Markham领导），吸引更多客户，并加大研发力度。“今年的重点更多是扩展我们现在拥有的技术，覆盖更多公司，”Fox说。

种子轮融资由英国AI种子基金Twin Path Ventures领投，JVH Ventures和EWOR也参与其中。EWOR此前已通过其加速器计划支持了Composo。“Composo正在解决企业AI采用中的一个关键瓶颈，”Twin Path的发言人说。

据Fox介绍，这个瓶颈对整个AI领域，尤其是企业来说，是个大问题。“人们已经过了兴奋的炒作阶段，现在开始思考，‘实际上，这真的会改变我业务的现状吗？因为它不够可靠，也不够一致。即使它做到了，你也无法向我证明它有多好，’”他解释道。

这可能使Composo对希望使用AI但担心风险的公司极具价值。因此，他们虽然不局限于特定行业，但仍专注于合规、法律、医疗和安全领域。

至于他们的独特之处，Fox表示他们的成果不易复制。“模型的架构和我们用来训练的数据都很关键，”他说，并指出Composo Align是在“大量专家评估数据集”上训练的。

当然，科技巨头可能会利用他们的资源试图解决这个问题，但Composo认为自己已占据先机。“另一个优势是我们随着时间积累的数据，”Fox谈到他们如何建立评估偏好时说。

因为它能根据灵活的标准评估应用，Composo还认为自己比那些方法更固定的竞争对手更适合应对代理AI的兴起。“在我看来，我们还远未达到代理运行良好的阶段，而这正是我们试图帮助解决的问题，”Fox说。

TechCrunch有一个专注于AI的时事通讯！在此注册，每周三在你的收件箱中获取。