“ Composo:监视企业的AI应用程序性能”

AI和大型语言模型(LLMs)前景广阔,但说实话——它们有时表现得并不稳定。没人能确定何时能彻底解决所有问题,所以不意外的是,初创公司正蜂拥而至,帮助企业确保他们的LLM驱动的应用能真正达到预期效果。
Composo是一家总部位于伦敦的初创公司,认为自己在解决这个问题上占据优势。他们开发了定制模型,帮助企业检查其LLM应用的准确性和是否达标。
Composo在这个领域并非独行;他们面对的竞争对手包括Agenta、Freeplay、Humanloop和LangSmith,这些公司都试图提供一种更好的、基于LLM的应用测试方式,取代人工、清单或传统工具。但Composo表示自己与众不同,因为它同时提供无代码选项和API。这意味着更多人可以使用它,不仅仅是开发者——领域专家和高管也能参与进来,亲自检查不一致性、质量和准确性。
其工作原理如下:Composo将一个根据人们对AI应用期望训练的奖励模型与特定应用的标准相结合。然后,它会评分评估应用输出与这些标准的匹配程度。例如,如果你有一个医疗分诊聊天机器人,你可以设置自定义指南来监控关键症状,Composo会告诉你应用遵循这些规则的表现如何。
他们刚刚推出了Composo Align的公共API,可以根据你设定的任何标准评估LLM应用。
这一努力似乎正在取得回报——他们的客户名单上有Accenture、Palantir和McKinsey等大牌公司,并且他们最近获得了200万美元的种子前轮融资。这在AI世界里听起来可能不多,因为这个领域通常资金充裕,但Composo的联合创始人兼CEO Sebastian Fox表示,他们不需要太多资金。“至少在未来三年,我们不打算筹集数亿美元,因为有很多人已经在非常高效地构建基础模型,而这不是我们的独特卖点,”曾在McKinsey担任顾问的Fox说。“相反,每天早上,如果我醒来看到OpenAI在他们的模型上取得了巨大进展的新闻,对我的生意来说是好事。”
有了新资金,Composo计划加强其工程团队(由联合创始人兼CTO、前Graphcore机器学习工程师Luke Markham领导),吸引更多客户,并加大研发力度。“今年的重点更多是扩展我们现在拥有的技术,覆盖更多公司,”Fox说。
种子轮融资由英国AI种子基金Twin Path Ventures领投,JVH Ventures和EWOR也参与其中。EWOR此前已通过其加速器计划支持了Composo。“Composo正在解决企业AI采用中的一个关键瓶颈,”Twin Path的发言人说。
据Fox介绍,这个瓶颈对整个AI领域,尤其是企业来说,是个大问题。“人们已经过了兴奋的炒作阶段,现在开始思考,‘实际上,这真的会改变我业务的现状吗?因为它不够可靠,也不够一致。即使它做到了,你也无法向我证明它有多好,’”他解释道。
这可能使Composo对希望使用AI但担心风险的公司极具价值。因此,他们虽然不局限于特定行业,但仍专注于合规、法律、医疗和安全领域。
至于他们的独特之处,Fox表示他们的成果不易复制。“模型的架构和我们用来训练的数据都很关键,”他说,并指出Composo Align是在“大量专家评估数据集”上训练的。
当然,科技巨头可能会利用他们的资源试图解决这个问题,但Composo认为自己已占据先机。“另一个优势是我们随着时间积累的数据,”Fox谈到他们如何建立评估偏好时说。
因为它能根据灵活的标准评估应用,Composo还认为自己比那些方法更固定的竞争对手更适合应对代理AI的兴起。“在我看来,我们还远未达到代理运行良好的阶段,而这正是我们试图帮助解决的问题,”Fox说。
TechCrunch有一个专注于AI的时事通讯!在此注册,每周三在你的收件箱中获取。
相关文章
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
亚马逊推出“Alexa for Shopping”,同时将Rufus边缘化
亚马逊推出了“Alexa for Shopping”,将 Rufus 购物聊天机器人 Alexa+ 整合到应用程序、网站和 Echo Show 设备中。该助手回答产品查询、比较商品、跟踪价格,并支持购物提醒。它还处理计划中的购物操作和符合条件的自动购买。据该公司称,“Alexa for Shopping”将 Rufus 的产品专业知识与 Alexa+ 的个性化助手上下文相结合。亚马逊表示,Rufus 在 2025 年协助了超过 3 亿客户进行产品研究、比较和购买。GeekWire 报道称,
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
相关专题推荐
评论 (56)
0/500
用AI去监控AI应用,这做法挺有趣的,有点「套娃」的味道。不过这类服务确实有需求,现在模型输出的稳定性确实是个痛点,尤其是对企业级应用来说。我们团队之前试过几个大模型API,偶尔抽风起来真的让人头疼,有个监测工具至少能提前预警吧。😅
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. Startups tackling LLM performance issues is a smart move—businesses need that reliability. Curious to see how this tech evolves! 😎
This article on Composo is pretty cool! It's wild how AI apps can be so powerful yet so unpredictable. Nice to see startups tackling the performance monitoring side—hope it makes LLMs more reliable for businesses! 😎
This article on Composo is super insightful! It’s wild how LLMs are so powerful yet so unpredictable. Excited to see startups tackling this to make AI apps more reliable! 😎
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. I wonder how startups like this will tackle the chaos of LLMs in real-world use. 🤔 Anyone else curious about the future of AI monitoring?

AI和大型语言模型(LLMs)前景广阔,但说实话——它们有时表现得并不稳定。没人能确定何时能彻底解决所有问题,所以不意外的是,初创公司正蜂拥而至,帮助企业确保他们的LLM驱动的应用能真正达到预期效果。
Composo是一家总部位于伦敦的初创公司,认为自己在解决这个问题上占据优势。他们开发了定制模型,帮助企业检查其LLM应用的准确性和是否达标。
Composo在这个领域并非独行;他们面对的竞争对手包括Agenta、Freeplay、Humanloop和LangSmith,这些公司都试图提供一种更好的、基于LLM的应用测试方式,取代人工、清单或传统工具。但Composo表示自己与众不同,因为它同时提供无代码选项和API。这意味着更多人可以使用它,不仅仅是开发者——领域专家和高管也能参与进来,亲自检查不一致性、质量和准确性。
其工作原理如下:Composo将一个根据人们对AI应用期望训练的奖励模型与特定应用的标准相结合。然后,它会评分评估应用输出与这些标准的匹配程度。例如,如果你有一个医疗分诊聊天机器人,你可以设置自定义指南来监控关键症状,Composo会告诉你应用遵循这些规则的表现如何。
他们刚刚推出了Composo Align的公共API,可以根据你设定的任何标准评估LLM应用。
这一努力似乎正在取得回报——他们的客户名单上有Accenture、Palantir和McKinsey等大牌公司,并且他们最近获得了200万美元的种子前轮融资。这在AI世界里听起来可能不多,因为这个领域通常资金充裕,但Composo的联合创始人兼CEO Sebastian Fox表示,他们不需要太多资金。“至少在未来三年,我们不打算筹集数亿美元,因为有很多人已经在非常高效地构建基础模型,而这不是我们的独特卖点,”曾在McKinsey担任顾问的Fox说。“相反,每天早上,如果我醒来看到OpenAI在他们的模型上取得了巨大进展的新闻,对我的生意来说是好事。”
有了新资金,Composo计划加强其工程团队(由联合创始人兼CTO、前Graphcore机器学习工程师Luke Markham领导),吸引更多客户,并加大研发力度。“今年的重点更多是扩展我们现在拥有的技术,覆盖更多公司,”Fox说。
种子轮融资由英国AI种子基金Twin Path Ventures领投,JVH Ventures和EWOR也参与其中。EWOR此前已通过其加速器计划支持了Composo。“Composo正在解决企业AI采用中的一个关键瓶颈,”Twin Path的发言人说。
据Fox介绍,这个瓶颈对整个AI领域,尤其是企业来说,是个大问题。“人们已经过了兴奋的炒作阶段,现在开始思考,‘实际上,这真的会改变我业务的现状吗?因为它不够可靠,也不够一致。即使它做到了,你也无法向我证明它有多好,’”他解释道。
这可能使Composo对希望使用AI但担心风险的公司极具价值。因此,他们虽然不局限于特定行业,但仍专注于合规、法律、医疗和安全领域。
至于他们的独特之处,Fox表示他们的成果不易复制。“模型的架构和我们用来训练的数据都很关键,”他说,并指出Composo Align是在“大量专家评估数据集”上训练的。
当然,科技巨头可能会利用他们的资源试图解决这个问题,但Composo认为自己已占据先机。“另一个优势是我们随着时间积累的数据,”Fox谈到他们如何建立评估偏好时说。
因为它能根据灵活的标准评估应用,Composo还认为自己比那些方法更固定的竞争对手更适合应对代理AI的兴起。“在我看来,我们还远未达到代理运行良好的阶段,而这正是我们试图帮助解决的问题,”Fox说。
TechCrunch有一个专注于AI的时事通讯!在此注册,每周三在你的收件箱中获取。
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
用AI去监控AI应用,这做法挺有趣的,有点「套娃」的味道。不过这类服务确实有需求,现在模型输出的稳定性确实是个痛点,尤其是对企业级应用来说。我们团队之前试过几个大模型API,偶尔抽风起来真的让人头疼,有个监测工具至少能提前预警吧。😅
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. Startups tackling LLM performance issues is a smart move—businesses need that reliability. Curious to see how this tech evolves! 😎
This article on Composo is pretty cool! It's wild how AI apps can be so powerful yet so unpredictable. Nice to see startups tackling the performance monitoring side—hope it makes LLMs more reliable for businesses! 😎
This article on Composo is super insightful! It’s wild how LLMs are so powerful yet so unpredictable. Excited to see startups tackling this to make AI apps more reliable! 😎
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. I wonder how startups like this will tackle the chaos of LLMs in real-world use. 🤔 Anyone else curious about the future of AI monitoring?





首页






