Pruna AI tiết lộ Khung tối ưu hóa mô hình AI nguồn mở nguồn mở

Pruna AI, một công ty khởi nghiệp châu Âu tập trung vào việc phát triển các thuật toán nén cho các mô hình AI, dự kiến sẽ phát hành khung tối ưu hóa của mình dưới dạng mã nguồn mở vào thứ Năm này. Công ty đã làm việc trên một khung tích hợp các kỹ thuật hiệu quả khác nhau như lưu trữ đệm, cắt tỉa, lượng tử hóa và chưng cất để nâng cao hiệu suất mô hình AI.

John Rachwan, đồng sáng lập và CTO của Pruna AI, giải thích với TechCrunch rằng khung của họ không chỉ áp dụng các phương pháp này mà còn chuẩn hóa quy trình lưu, tải và đánh giá các mô hình đã nén. Điều này cho phép người dùng đánh giá bất kỳ mất mát chất lượng nào và những cải tiến hiệu suất đạt được thông qua quá trình nén.

Rachwan so sánh vai trò của Pruna AI với Hugging Face, nơi đã chuẩn hóa việc sử dụng các bộ biến đổi và bộ khuếch tán. "Chúng tôi đang làm điều tương tự, nhưng dành cho các phương pháp hiệu quả," ông tuyên bố, nhấn mạnh việc chuẩn hóa cách các phương pháp này được áp dụng và quản lý.

Các phòng thí nghiệm AI lớn đã áp dụng các kỹ thuật nén tương tự. Ví dụ, OpenAI đã sử dụng chưng cất để phát triển các phiên bản nhanh hơn của mô hình của mình, như GPT-4 Turbo. Tương tự, Black Forest Labs đã tạo ra Flux.1-schnell, một phiên bản chưng cất của mô hình Flux.1 của họ. Chưng cất liên quan đến cách tiếp cận "giáo viên-học sinh" nơi đầu ra của một mô hình lớn hơn được sử dụng để huấn luyện một mô hình nhỏ hơn, hiệu quả hơn.

Rachwan chỉ ra rằng trong khi các công ty lớn thường phát triển các công cụ này nội bộ, cộng đồng mã nguồn mở thường tập trung vào các phương pháp đơn lẻ. "Nhưng bạn không thể tìm thấy một công cụ tổng hợp tất cả chúng, giúp chúng dễ sử dụng và kết hợp với nhau," ông nói, nhấn mạnh giá trị độc đáo của Pruna AI.

Ngoài phiên bản mã nguồn mở, Pruna AI cung cấp một phiên bản doanh nghiệp với các tính năng tối ưu hóa nâng cao, bao gồm một tác nhân nén sắp ra mắt. Rachwan mô tả tác nhân này như một công cụ tự động tìm ra sự kết hợp nén tốt nhất cho một mô hình dựa trên yêu cầu hiệu suất và độ chính xác do người dùng chỉ định.

Phiên bản chuyên nghiệp của Pruna AI được tính phí theo giờ, tương tự như việc thuê GPU trên các dịch vụ đám mây như AWS. Bằng cách tối ưu hóa các mô hình, người dùng có thể giảm đáng kể chi phí suy luận. Chẳng hạn, Pruna AI đã nén một mô hình Llama xuống còn một phần tám kích thước ban đầu với mất mát chất lượng tối thiểu, thể hiện tiềm năng tiết kiệm chi phí.

Công ty gần đây đã huy động được vòng tài trợ hạt giống trị giá 6,5 triệu USD từ các nhà đầu tư bao gồm EQT Ventures, Daphni, Motier Ventures và Kima Ventures. Pruna AI xem khung nén của mình như một khoản đầu tư chiến lược có thể tự chi trả thông qua việc giảm chi phí vận hành.