Deep Cogito's LLMS vượt trội so với các mô hình có kích thước tương tự bằng IDA

Deep Cogito, một công ty có trụ sở tại San Francisco, đang tạo nên làn sóng trong cộng đồng AI với bản phát hành mới nhất của các mô hình ngôn ngữ lớn (LLM) mới nhất. Những mô hình này, có nhiều kích cỡ khác nhau, từ 3 tỷ đến 70 tỷ tham số, không chỉ là một bộ công cụ AI khác; Họ là một bước đi táo bạo hướng tới những gì công ty gọi là "tổng giám đốc chung". Deep Cogito tuyên bố rằng mỗi mô hình của họ vượt trội so với các mô hình mở hàng đầu có kích thước tương tự, bao gồm cả các mô hình từ Llama, Deepseek và Qwen, trên hầu hết các điểm chuẩn tiêu chuẩn. Đó là một yêu cầu khá, nhưng điều thậm chí còn ấn tượng hơn là mô hình 70B của họ đã vượt qua mô hình hỗn hợp LLAMA 4 109B được phát hành gần đây (MOE).

Vùi chưng cất và khuếch đại (IDA)

Trọng tâm của bước đột phá của Deep Cogito là một phương pháp đào tạo mới mà họ gọi là chưng cất và khuếch đại lặp đi lặp lại (IDA). Phương pháp này được mô tả là "một chiến lược căn chỉnh có thể mở rộng và hiệu quả cho siêu trực tuyến chung bằng cách sử dụng khả năng tự cải thiện lặp đi lặp lại." Nó được thiết kế để vượt qua những hạn chế của đào tạo LLM truyền thống, trong đó trí thông minh của người mẫu thường chạm một trần được xác định bởi các mô hình "giám sát" lớn hơn hoặc người phụ trách con người.

Quá trình IDA xoay quanh hai bước chính được lặp đi lặp lại:

• Khuếch đại: Bước này sử dụng sức mạnh tính toán nhiều hơn để giúp mô hình đưa ra các giải pháp hoặc khả năng tốt hơn, giống như các kỹ thuật lý luận nâng cao.
• Chắt chưng cất: Ở đây, mô hình nội địa hóa các khả năng cải tiến này, tinh chỉnh các tham số của nó.

Deep Cogito lập luận rằng điều này tạo ra một "vòng phản hồi tích cực", cho phép trí thông minh của mô hình phát triển trực tiếp hơn với các tài nguyên tính toán và hiệu quả của quá trình IDA, thay vì bị giới hạn bởi trí thông minh của người giám sát.

Công ty chỉ ra những thành công lịch sử như Alphago, nhấn mạnh rằng "lý luận nâng cao và cải thiện bản thân" là rất quan trọng. Ida, họ tuyên bố, đưa các yếu tố này vào đào tạo LLM. Họ cũng cho thấy hiệu quả của IDA, lưu ý rằng nhóm của họ, mặc dù nhỏ, đã quản lý để phát triển các mô hình này chỉ trong khoảng 75 ngày. Khi so sánh với các phương pháp khác như học tập củng cố từ phản hồi của con người (RLHF) hoặc chưng cất tiêu chuẩn từ các mô hình lớn hơn, IDA được cho là cung cấp khả năng mở rộng tốt hơn.

Để chứng minh, Deep Cogito nêu bật cách mô hình 70b của họ vượt trội so với cả Llama 3.3 70B (được chưng cất từ ​​mô hình 405B) và Llama 4 Scout 109b (được chưng cất từ ​​mô hình tham số 2T).

Khả năng và hiệu suất của các mô hình Cogito sâu

Các mô hình Cogito mới, được xây dựng dựa trên các điểm kiểm tra Llama và Qwen, được điều chỉnh để mã hóa, gọi chức năng và các ứng dụng tác nhân. Một tính năng nổi bật là chức năng kép của chúng: "Mỗi mô hình có thể trả lời trực tiếp (LLM tiêu chuẩn) hoặc tự phản ánh trước khi trả lời (như các mô hình lý luận)." Điều này phản ánh các khả năng được thấy trong các mô hình như Claude 3.5. Tuy nhiên, Deep Cogito đề cập rằng họ không tập trung vào các chuỗi lý luận rất dài, ưu tiên các câu trả lời nhanh hơn và hiệu quả của các chuỗi chắt lọc ngắn hơn.

Công ty đã chia sẻ kết quả điểm chuẩn rộng rãi, so sánh các mô hình Cogito của họ với các mô hình mở hiện đại tương đương kích thước trong cả hai chế độ trực tiếp và lý luận. Trên một loạt các điểm chuẩn như MMLU, MMLU-Pro, ARC, GSM8K và MATH, và trên các kích thước mô hình khác nhau (3B, 8B, 14B, 32B, 70B), các mô hình Cogito thường cho thấy những cải thiện hiệu suất đáng kể. Ví dụ, mô hình Cogito 70B đạt 91,73% trên MMLU ở chế độ tiêu chuẩn, cải thiện +6,40% so với LLAMA 3.3 70B và 91,00% ở chế độ suy nghĩ, tăng +4,40% so với DeepSeek R1 Chất phân từ 70B. Điểm số của LiveBench cũng phản ánh những lợi ích này.

Dưới đây là điểm chuẩn của các mô hình 14B để so sánh cỡ trung bình:

Mặc dù Deep Cogito thừa nhận rằng các điểm chuẩn không hoàn toàn nắm bắt được tiện ích trong thế giới thực, nhưng chúng vẫn tự tin vào hiệu suất thực tế của các mô hình của họ. Bản phát hành này được coi là một bản xem trước, với công ty nói rằng họ "vẫn đang trong giai đoạn đầu của đường cong tỷ lệ này". Họ có kế hoạch phát hành các điểm kiểm tra được cải thiện cho các kích thước hiện tại và giới thiệu các mô hình MOE lớn hơn (109b, 400b, 671b) trong những tuần và tháng tới. Tất cả các mô hình trong tương lai cũng sẽ là nguồn mở.