Composo : 기업을위한 AI 앱 성능 모니터링

AI와 대규모 언어 모델(LLM)은 매우 유망하지만, 솔직히 말해—때로는 성공하거나 실패할 수 있습니다. 언제 모든 문제를 해결할지 확실하지 않으므로, 스타트업들이 기업들이 LLM 기반 앱이 의도한 대로 작동하는지 확인하도록 돕기 위해 뛰어드는 것은 놀라운 일이 아닙니다.

런던 기반 스타트업 Composo가 이 문제를 해결하는 데 앞서 있다고 생각합니다. 그들은 기업들이 LLM 앱의 정확성과 품질을 확인할 수 있도록 돕는 맞춤형 모델을 보유하고 있습니다.

Composo는 이 분야에서 혼자가 아닙니다. Agenta, Freeplay, Humanloop, LangSmith와 같은 경쟁사들과 맞서고 있으며, 이들은 모두 인간, 체크리스트, 또는 구식 도구에 의존하지 않고 LLM 기반으로 앱을 테스트하는 더 나은 방법을 제공하려고 합니다. 하지만 Composo는 노코드 옵션과 API를 모두 제공하기 때문에 다르다고 말합니다. 이는 개발자뿐만 아니라 도메인 전문가와 경영진도 직접 불일치, 품질, 정확성을 확인할 수 있다는 뜻입니다.

작동 방식은 다음과 같습니다: Composo는 사람들이 AI 앱에서 보고 싶어 하는 것에 대해 훈련된 보상 모델과 해당 앱의 특정 기준을 결합합니다. 그런 다음 앱의 출력이 그 기준과 얼마나 잘 맞는지 점수를 매깁니다. 예를 들어, 의료 분류 챗봇이 있다면, 위험 신호 증상을 감시하는 맞춤형 가이드라인을 설정할 수 있고, Composo는 앱이 그 규칙을 얼마나 잘 따르는지 알려줍니다.

그들은 최근 Composo Align의 공개 API를 출시했으며, 이는 사용자가 설정한 기준에 따라 LLM 앱을 평가할 수 있게 합니다.

이 노력은 성과를 내고 있습니다. Accenture, Palantir, McKinsey 같은 대기업이 고객 리스트에 있으며, 최근 200만 달러의 프리시드 펀딩을 확보했습니다. AI 세계에서는 자금이 풍부한 편이지만, Composo의 공동 설립자이자 CEO인 Sebastian Fox는 많은 자금이 필요하지 않다고 말합니다. “적어도 앞으로 3년 동안 우리는 수억 달러를 모금할 계획이 없습니다. 많은 사람들이 기반 모델을 효과적으로 구축하고 있고, 그것은 우리의 강점이 아닙니다,”라고 McKinsey 출신 컨설턴트였던 Fox는 말했습니다. “대신, 매일 아침 OpenAI가 그들의 모델에서 큰 발전을 이루었다는 뉴스를 보면, 그것은 제 사업에 좋은 일입니다.”

새로운 자금으로 Composo는 Graphcore 출신의 기계 학습 엔지니어였던 공동 설립자이자 CTO인 Luke Markham이 이끄는 엔지니어링 팀을 강화하고, 더 많은 고객을 확보하며, R&D를 확대할 계획입니다. “올해의 초점은 우리가 현재 보유한 기술을 여러 기업에 확장하는 데 훨씬 더 집중하고 있습니다,”라고 Fox는 말했습니다.

시드 라운드는 영국 AI 프리시드 펀드 Twin Path Ventures가 주도했으며, JVH Ventures와 EWOR도 참여했습니다. EWOR은 이미 가속기 프로그램을 통해 Composo를 지원한 바 있습니다. “Composo는 기업 AI 도입의 중요한 병목 현상을 해결하고 있습니다,”라고 Twin Path 대변인이 말했습니다.

Fox에 따르면 이 병목 현상은 특히 기업들에게 AI 전체에 큰 문제입니다. “사람들은 흥분의 과대 광고를 넘어 이제 ‘이게 현재 형태로 내 비즈니스에 정말 변화를 가져올까? 신뢰성이 충분하지 않고, 일관성이 없으며, 설령 그렇더라도 그 정도를 증명할 수 없다’고 생각하고 있습니다,”라고 그는 설명했습니다.

이는 AI를 사용하고 싶지만 위험을 걱정하는 기업들에게 Composo를 매우 가치 있게 만들 수 있습니다. 그래서 그들은 산업에 구애받지 않지만, 규제 준수, 법률, 의료, 보안에 초점을 맞춥니다.

Fox는 그들의 차별점을 복제하기 어렵다고 말합니다. “모델의 아키텍처와 우리가 훈련에 사용한 데이터가 모두 있습니다,”라고 그는 말하며, Composo Align은 “전문가 평가의 대규모 데이터셋”으로 훈련되었다고 언급했습니다.

테크 거인들이 이 문제를 해결하려고 나설 수 있지만, Composo는 선두를 달리고 있다고 생각합니다. “다른 하나는 시간이 지남에 따라 우리가 축적하는 데이터입니다,”라고 Fox는 평가 선호도를 쌓아가는 방식에 대해 말했습니다.

유연한 기준 세트에 따라 앱을 평가할 수 있으므로, Composo는 더 경직된 접근 방식을 가진 경쟁사들보다 에이전트 기반 AI의 부상에 더 잘 대비하고 있다고 생각합니다. “제 생각에, 우리는 에이전트가 잘 작동하는 단계에 확실히 도달하지 않았고, 그것이 우리가 해결하려는 것입니다,”라고 Fox는 말했습니다.

TechCrunch는 AI 중심 뉴스레터를 제공합니다! 매주 수요일 받은 편지함에서 확인하려면 여기에서 구독하세요.