딥 코그니토, 최고 순위 오픈소스 AI 모델 출시

딥 코지토, 혁명적인 AI 모델 출시

샌프란시스코에 본사를 두고 있는 선도적인 AI 연구 스타트업 딥 코지토는 공식적으로 첫 번째 오픈 소스 대규모 언어 모델(Large Language Models, LLMs)인 '코지토 v1' 라인업을 발표했습니다. 이 모델들은 메타의 Llama 3.2에서 미세조정되었으며, 하이브리드 추론 능력을 갖추고 있어 신속한 응답뿐만 아니라 내부 반성을 수행할 수 있습니다. 이는 오픈AI의 "o" 시리즈나 딥시크 R1과 유사한 특징입니다.

딥 코지토는 모델 내부에서 반복적인 자기 개선을 촉진함으로써 전통적인 인간 감독 제약을 넘어설 것을 목표로 하고 있으며, 궁극적인 목표는 모든 분야에서 인간 능력을 초월하는 초지능(Superintelligence) 개발입니다. 그러나 회사는 모든 모델이 여전히 오픈 소스로 남아있을 것이라고 보증합니다.

딥 코지토의 최고경영자이자 공동 설립자인 드리샨 아로라(Drishan Arora)는 구글에서 고급 소프트웨어 엔지니어로 재직하며 구글의 생성형 검색 제품에 LLM을 개발했었습니다. 그는 X(트위터)에서 이 모델들이 현재의 규모에서 가장 강력한 오픈 소스 모델들 중 하나라고 자신 있게 밝혔으며, LLaMA, 딥시크, Qwen 등의 경쟁 모델들을 뛰어넘고 있다고 말했습니다.

모델 라인업

초기 제공되는 모델에는 30억, 80억, 140억, 320억, 700억 파라미터의 다섯 가지 기본 크기들이 포함되며 이미 허깅페이스, 올라마, 파이어웍스 및 투게더 AI를 통해 사용 가능합니다. 이 모델들은 Llama 라이선스 조건하에 운영되며, 월간 사용자가 7억 명 이하일 경우 메타로부터 유료 라이선스가 필요하지 않습니다.

딥 코지토는 곧 더 큰 모델을 출시할 예정이며, 향후에는 최대 6710억 파라미터까지 확장될 가능성이 있습니다.

훈련 접근 방식: 반복적인 증류 및 증폭(IDA)

아로라는 전통적인 인간 피드백 기반 강화 학습(RLHF) 또는 교사 모델 증류와는 다른 새로운 방법인 IDA를 소개했습니다. IDA는 추가적인 컴퓨팅 자원을 할당하여 우수한 해결책을 생성하고 이를 모델 자체에 삽입하는 데 초점이 맞춰져 있으며, 이는 지속적인 피드백 루프를 통해 능력을 향상시키는 것을 목표로 합니다. 이 접근 방식은 구글 알파고의 자가 플레이 전략을 자연어 처리에 적용한 것입니다.

성능 평가

딥 코지토는 일반 지식, 수학적 추론, 다국어 작업 등에서 오픈 소스 대안들과 비교한 포괄적인 평가 결과를 발표했습니다. 주요 발견 사항에는 다음과 같은 내용이 포함됩니다:

• 코지투 3B (스탠다드): MMLU에서 LLaMA 3.2 3B보다 6.7%p 더 높은 성능(65.4% vs. 58.7%)을 기록했으며, Hellaswag에서는 18.8%p 더 높은 점수(81.1% vs. 62.3%)를 받았습니다.
• 코지투 3B (추론 모드): MMLU에서 72.6%, ARC에서 84.2%를 기록했습니다.
• 코지투 8B (스탠다드): MMLU에서 80.5%를 달성하며 LLaMA 3.1 8B보다 12.8%p 앞섰습니다.
• 코지투 8B (추론 모드): MMLU에서 83.1%, ARC에서 92.0%를 기록했습니다.
• 코지투 70B (스탠다드): MMLU에서 LLaMA 3.3 70B보다 6.4%p 더 높은 점수(91.7% vs. 85.3%)를 기록했으며, LLaMA 4 Scout 109B의 통합 벤치마크에서도 54.5% vs. 53.3%로 앞섰습니다.

추론 모드에서 코지투 모델들은 뛰어난 성과를 보였지만, 특히 수학적 작업에서 일부 타협점이 존재합니다.

내장 도구 호출

딥 코지토는 에이전트 및 API 통합 시스템에 중요한 요소인 모델의 내장 도구 호출 성능도 평가했습니다.

• 코지투 3B: 네 가지 도구 호출 작업을 지원하며 단순 및 다중 도구 호출에서 우수한 성과를 보였습니다.
• 코지투 8B: 모든 도구 호출 유형에서 뛰어난 성능을 보였으며, LLaMA 3.1 8B를 크게 앞섰습니다.

미래 계획

앞으로 딥 코지토는 109B, 400B, 671B 파라미터의 믹처 오브 엑퍼트 변종 모델을 포함한 더 큰 모델을 도입할 예정이며, 기존 체크포인트에 대한 지속적인 업데이트도 진행할 계획입니다. 회사는 IDA가 확장 가능한 자기 개선 경로를 지속적으로 제공할 것임을 강조하며, 인간 또는 정적인 교사 모델에 대한 의존도를 줄이는 것을 목표로 합니다.

아로라는 실질적인 유용성과 적응력이 성공의 최종 기준이라고 강조하며, 이는 희망찬 여정의 시작에 불과하다고 말했습니다. 딥 코지토는 허깅페이스, 런팟, 파이어웍스 AI, 투게더 AI, 올라마와 같은 유명한 업체들과 협력하여 모든 모델이 여전히 오픈 소스로 유지되고 자유롭게 접근 가능하도록 하고 있습니다.