Deep Cogito's LLMS vượt trội so với các mô hình có kích thước tương tự bằng IDA

Deep Cogito, một công ty có trụ sở tại San Francisco, đang tạo ra sóng gió trong cộng đồng AI với việc phát hành mới nhất các mô hình ngôn ngữ lớn mở (LLMs). Các mô hình này, có kích thước từ 3 tỷ đến 70 tỷ tham số, không chỉ là một bộ công cụ AI khác; chúng là một bước tiến táo bạo hướng tới điều mà công ty gọi là "siêu trí tuệ tổng quát." Deep Cogito tuyên bố rằng mỗi mô hình của họ vượt trội hơn các mô hình mở hàng đầu có kích thước tương tự, bao gồm những mô hình từ LLAMA, DeepSeek và Qwen, trên hầu hết các bài kiểm tra tiêu chuẩn. Đó là một tuyên bố khá ấn tượng, nhưng điều còn ấn tượng hơn là mô hình 70B của họ được báo cáo đã vượt qua mô hình Llama 4 109B Mixture-of-Experts (MoE) vừa được phát hành gần đây.

Lặp đi lặp lại Tinh gọn và Khuếch đại (IDA)

Trọng tâm của bước đột phá của Deep Cogito là một phương pháp huấn luyện mới mà họ gọi là Lặp đi lặp lại Tinh gọn và Khuếch đại (IDA). Phương pháp này được mô tả là "một chiến lược căn chỉnh có khả năng mở rộng và hiệu quả cho siêu trí tuệ tổng quát bằng cách sử dụng cải tiến tự thân lặp lại." Nó được thiết kế để vượt qua các giới hạn của việc huấn luyện LLM truyền thống, nơi trí tuệ của mô hình thường chạm đến giới hạn được xác định bởi các mô hình "giám sát" lớn hơn hoặc người quản lý con người.

Quy trình IDA xoay quanh hai bước chính được lặp đi lặp lại:

• Khuếch đại: Bước này sử dụng nhiều sức mạnh tính toán hơn để giúp mô hình đưa ra các giải pháp hoặc khả năng tốt hơn, tương tự như các kỹ thuật suy luận nâng cao.
• Tinh gọn: Ở đây, mô hình nội tại hóa các khả năng cải tiến này, tinh chỉnh các tham số của nó.

Deep Cogito lập luận rằng điều này tạo ra một "vòng phản hồi tích cực," cho phép trí tuệ của mô hình phát triển trực tiếp hơn với các nguồn lực tính toán và hiệu quả của chính quy trình IDA, thay vì bị giới hạn bởi trí tuệ của một người giám sát.

Công ty chỉ ra những thành công lịch sử như AlphaGo, nhấn mạnh rằng "Suy luận Nâng cao và Cải tiến Tự thân Lặp lại" là yếu tố quan trọng. IDA, họ tuyên bố, mang những yếu tố này vào việc huấn luyện LLM. Họ cũng ca ngợi hiệu quả của IDA, lưu ý rằng đội ngũ của họ, dù nhỏ, đã quản lý để phát triển các mô hình này chỉ trong khoảng 75 ngày. Khi so sánh với các phương pháp khác như Học Tăng cường từ Phản hồi của Con người (RLHF) hoặc tinh gọn tiêu chuẩn từ các mô hình lớn hơn, IDA được cho là mang lại khả năng mở rộng tốt hơn.

Để chứng minh, Deep Cogito nhấn mạnh cách mô hình 70B của họ vượt trội hơn cả Llama 3.3 70B (tinh gọn từ mô hình 405B) và Llama 4 Scout 109B (tinh gọn từ mô hình 2T tham số).

Khả năng và Hiệu suất của Các Mô hình Deep Cogito

Các mô hình Cogito mới, được xây dựng dựa trên các điểm kiểm tra của Llama và Qwen, được thiết kế riêng cho việc lập trình, gọi hàm và các ứng dụng agentic. Một tính năng nổi bật là chức năng kép của chúng: "Mỗi mô hình có thể trả lời trực tiếp (LLM tiêu chuẩn), hoặc tự phản ánh trước khi trả lời (giống như các mô hình suy luận)." Điều này tương tự như các khả năng được thấy trong các mô hình như Claude 3.5. Tuy nhiên, Deep Cogito đề cập rằng họ chưa tập trung vào các chuỗi suy luận rất dài, ưu tiên các câu trả lời nhanh hơn và hiệu quả của việc tinh gọn các chuỗi ngắn hơn.

Công ty đã chia sẻ kết quả kiểm tra chi tiết, so sánh các mô hình Cogito của họ với các mô hình mở tiên tiến tương đương về kích thước ở cả chế độ trực tiếp và suy luận. Trên một loạt các bài kiểm tra như MMLU, MMLU-Pro, ARC, GSM8K và MATH, và trên các kích thước mô hình khác nhau (3B, 8B, 14B, 32B, 70B), các mô hình Cogito thường cho thấy cải thiện hiệu suất đáng kể. Ví dụ, mô hình Cogito 70B đạt điểm 91.73% trên MMLU ở chế độ tiêu chuẩn, cải thiện +6.40% so với Llama 3.3 70B, và 91.00% ở chế độ suy nghĩ, tăng +4.40% so với Deepseek R1 Distill 70B. Điểm Livebench cũng phản ánh những cải thiện này.

Dưới đây là các bài kiểm tra của các mô hình 14B để so sánh kích thước trung bình:

Mặc dù Deep Cogito thừa nhận rằng các bài kiểm tra không hoàn toàn phản ánh tính hữu ích trong thế giới thực, họ vẫn tự tin vào hiệu suất thực tế của các mô hình của mình. Bản phát hành này được coi là một bản xem trước, với công ty tuyên bố họ "vẫn đang ở giai đoạn đầu của đường cong mở rộng này." Họ dự định sẽ phát hành các điểm kiểm tra cải tiến cho các kích thước hiện tại và giới thiệu các mô hình MoE lớn hơn (109B, 400B, 671B) trong vài tuần và tháng tới. Tất cả các mô hình tương lai cũng sẽ là mã nguồn mở.