DeepCoder đạt được hiệu quả mã hóa cao với mô hình mở 14b

Giới thiệu DeepCoder-14B: Một Biên giới Mới trong Các Mô hình Lập trình Mã nguồn Mở

Các nhóm tại Together AI và Agentica đã công bố DeepCoder-14B, một mô hình lập trình đột phá ngang tầm với các mô hình độc quyền hàng đầu như o3-mini của OpenAI. Sự phát triển thú vị này được xây dựng dựa trên nền tảng DeepSeek-R1 và mang lại sự linh hoạt cao hơn để tích hợp khả năng tạo mã hiệu suất cao và suy luận vào các ứng dụng thực tế. Hơn nữa, các nhà phát triển đã thực hiện một bước đi đáng khen ngợi bằng cách mở hoàn toàn mã nguồn của mô hình, bao gồm dữ liệu huấn luyện, mã, nhật ký và các tối ưu hóa hệ thống. Động thái này được kỳ vọng sẽ thúc đẩy nghiên cứu và đẩy nhanh các tiến bộ trong lĩnh vực.

Hiệu suất Ấn tượng trong một Gói Gọn

DeepCoder-14B đã cho thấy kết quả đáng chú ý trên nhiều điểm chuẩn lập trình như LiveCodeBench (LCB), Codeforces và HumanEval+. Các thí nghiệm của nhóm nghiên cứu đã chỉ ra rằng hiệu suất của mô hình này ngang ngửa với các mô hình hàng đầu như o3-mini (thấp) và o1. "Mô hình của chúng tôi thể hiện hiệu suất mạnh mẽ trên tất cả các điểm chuẩn lập trình... tương đương với hiệu suất của o3-mini (thấp) và o1," các nhà nghiên cứu tự hào tuyên bố trong bài đăng blog của họ.

Điều đặc biệt hấp dẫn là, mặc dù được huấn luyện chủ yếu cho các tác vụ lập trình, DeepCoder-14B cũng cho thấy sự cải thiện đáng kể trong suy luận toán học, đạt điểm 73,8% trên điểm chuẩn AIME 2024. Điều này đánh dấu mức tăng 4,1% so với mô hình cơ sở, DeepSeek-R1-Distill-Qwen-14B, cho thấy các kỹ năng suy luận được rèn giũa thông qua học tăng cường (RL) trên mã có thể chuyển giao hiệu quả sang các lĩnh vực khác.

Có lẽ tính năng thú vị nhất của DeepCoder-14B là hiệu quả của nó. Với chỉ 14 tỷ tham số, nó đạt được hiệu suất cao trong khi nhỏ gọn hơn và tiết kiệm tài nguyên hơn nhiều so với các mô hình hàng đầu khác.

Những Đổi mới Đằng sau Thành công của DeepCoder

Việc phát triển DeepCoder-14B đòi hỏi vượt qua nhiều thách thức, đặc biệt trong việc huấn luyện các mô hình lập trình bằng học tăng cường. Một trở ngại lớn là việc thu thập dữ liệu huấn luyện. Không giống như các tác vụ toán học, nơi dữ liệu chất lượng cao, có thể xác minh dễ dàng có sẵn, dữ liệu lập trình có thể khan hiếm. Nhóm DeepCoder đã giải quyết vấn đề này bằng cách triển khai một quy trình nghiêm ngặt để thu thập và lọc các ví dụ từ nhiều bộ dữ liệu, đảm bảo tính hợp lệ, độ phức tạp và tránh trùng lặp. Quá trình này đã tạo ra 24.000 bài toán chất lượng cao, hình thành một nền tảng vững chắc cho huấn luyện RL.

Nhóm cũng thiết kế một hàm thưởng đơn giản chỉ thưởng cho mô hình nếu mã được tạo ra vượt qua tất cả các bài kiểm tra đơn vị được lấy mẫu trong một giới hạn thời gian nhất định. Phương pháp này, kết hợp với các ví dụ huấn luyện chất lượng cao, đảm bảo rằng mô hình tập trung vào việc giải quyết các vấn đề cốt lõi thay vì khai thác các lối tắt.

Thuật toán huấn luyện của DeepCoder-14B dựa trên Tối ưu hóa Chính sách Tương đối Nhóm (GRPO), vốn đã thành công trong DeepSeek-R1. Tuy nhiên, nhóm đã thực hiện các sửa đổi đáng kể để tăng cường sự ổn định và cho phép thời gian huấn luyện lâu hơn.

Ngoài ra, nhóm đã mở rộng cửa sổ ngữ cảnh của mô hình một cách lặp đi lặp lại, bắt đầu với các chuỗi ngắn hơn và dần dần tăng lên. Họ cũng giới thiệu một phương pháp lọc để tránh phạt mô hình khi vượt quá giới hạn ngữ cảnh khi giải quyết các lời nhắc phức tạp.

Các nhà nghiên cứu giải thích cách tiếp cận của họ: "Để duy trì khả năng suy luận ngữ cảnh dài trong khi cho phép huấn luyện hiệu quả, chúng tôi đã áp dụng lọc quá dài... Kỹ thuật này che giấu các chuỗi bị cắt ngắn trong quá trình huấn luyện để các mô hình không bị phạt vì tạo ra các đầu ra chu đáo nhưng dài vượt quá giới hạn ngữ cảnh hiện tại." Quá trình huấn luyện được mở rộng từ cửa sổ ngữ cảnh 16K lên 32K, cho phép mô hình giải quyết các bài toán yêu cầu lên đến 64K token.

Tối ưu hóa Huấn luyện RL Ngữ cảnh Dài

Huấn luyện các mô hình lớn với RL, đặc biệt trên các tác vụ tạo ra chuỗi dài như lập trình, là một quá trình chậm và tiêu tốn tài nguyên. Bước lấy mẫu, nơi mô hình tạo ra hàng nghìn token cho mỗi ví dụ, thường dẫn đến sự chậm trễ đáng kể do độ dài phản hồi thay đổi.

Để giải quyết vấn đề này, nhóm đã phát triển verl-pipeline, một phần mở rộng tối ưu hóa của thư viện mã nguồn mở verl để học tăng cường từ phản hồi của con người (RLHF). Đổi mới "One-Off Pipelining" của họ đã tái cấu trúc việc lấy mẫu và cập nhật mô hình để giảm thiểu tắc nghẽn và giảm thời gian nhàn rỗi trên các bộ tăng tốc.

Các thí nghiệm của họ chứng minh rằng one-off pipelining có thể tăng tốc các tác vụ RL lập trình lên đến 2 lần so với các phương pháp tiêu chuẩn. Tối ưu hóa này rất quan trọng trong việc huấn luyện DeepCoder-14B trong một khoảng thời gian hợp lý (2,5 tuần trên 32 H100) và hiện đã được mở mã nguồn như một phần của verl-pipeline để cộng đồng tận dụng.

Ảnh hưởng Doanh nghiệp và Hợp tác Mã nguồn Mở

Các nhà nghiên cứu đã công khai tất cả các tài liệu huấn luyện và vận hành cho DeepCoder-14B trên GitHub và Hugging Face dưới giấy phép cho phép. "Bằng cách chia sẻ hoàn toàn bộ dữ liệu, mã và công thức huấn luyện của chúng tôi, chúng tôi trao quyền cho cộng đồng tái tạo công việc của chúng tôi và làm cho huấn luyện RL trở nên dễ tiếp cận với tất cả," họ tuyên bố.

DeepCoder-14B là ví dụ cho xu hướng ngày càng tăng của các mô hình hiệu quả, dễ tiếp cận công khai trong cảnh quan AI. Đối với các doanh nghiệp, điều này có nghĩa là có nhiều lựa chọn hơn và khả năng tiếp cận cao hơn đến các mô hình tiên tiến. Tạo mã hiệu suất cao và suy luận không còn là độc quyền của các tập đoàn lớn hoặc những người sẵn sàng trả phí API cao. Các tổ chức ở mọi quy mô giờ đây có thể khai thác các khả năng này, tùy chỉnh giải pháp theo nhu cầu cụ thể của họ và triển khai chúng một cách an toàn trong môi trường của họ.

Sự thay đổi này được kỳ vọng sẽ hạ thấp rào cản đối với việc áp dụng AI, thúc đẩy một hệ sinh thái cạnh tranh và sáng tạo hơn được dẫn dắt bởi sự hợp tác mã nguồn mở.