Pruna AI tiết lộ Khung tối ưu hóa mô hình AI nguồn mở nguồn mở

Pruna AI, một công ty khởi nghiệp châu Âu tập trung vào việc phát triển các thuật toán nén cho các mô hình AI, được thiết lập để phát hành khung tối ưu hóa của mình dưới dạng nguồn mở vào thứ năm này. Công ty đã làm việc trên một khung kết hợp các kỹ thuật hiệu quả khác nhau như bộ nhớ đệm, cắt tỉa, định lượng hóa và chưng cất để nâng cao hiệu suất mô hình AI.

John Rachwan, đồng sáng lập và CTO của Pruna AI, đã giải thích với TechCrunch rằng khung của họ không chỉ áp dụng các phương pháp này mà còn tiêu chuẩn hóa quá trình tiết kiệm, tải và đánh giá các mô hình nén. Điều này cho phép người dùng đánh giá bất kỳ sự mất chất lượng tiềm năng và cải thiện hiệu suất đạt được thông qua nén.

Rachwan ví vai trò của Pruna AI đối với khuôn mặt ôm nhau, trong đó tiêu chuẩn hóa việc sử dụng máy biến áp và bộ khuếch tán. "Chúng tôi đang làm như vậy, nhưng đối với các phương pháp hiệu quả", ông tuyên bố, nhấn mạnh việc tiêu chuẩn hóa cách áp dụng và quản lý các phương pháp này.

Các phòng thí nghiệm AI chính đã áp dụng các kỹ thuật nén tương tự. Ví dụ, OpenAI đã sử dụng chưng cất để phát triển các phiên bản nhanh hơn của các mô hình, chẳng hạn như GPT-4 Turbo. Tương tự, Black Forest Labs đã tạo ra Flux.1-Schnell, một phiên bản chưng cất của mô hình thông lượng.1 của chúng. Chưng cất bao gồm một cách tiếp cận "giáo viên-học sinh" trong đó các đầu ra của mô hình lớn hơn được sử dụng để đào tạo một mô hình nhỏ hơn, hiệu quả hơn.

Rachwan chỉ ra rằng trong khi các công ty lớn thường phát triển các công cụ này trong nội bộ, cộng đồng nguồn mở thường tập trung vào các phương pháp đơn lẻ. "Nhưng bạn không thể tìm thấy một công cụ tổng hợp tất cả chúng, làm cho tất cả chúng dễ sử dụng và kết hợp với nhau", ông nói, làm nổi bật đề xuất giá trị độc đáo của Pruna AI.

Ngoài phiên bản nguồn mở, Pruna AI còn cung cấp phiên bản doanh nghiệp với các tính năng tối ưu hóa nâng cao, bao gồm cả tác nhân nén sắp tới. Rachwan mô tả tác nhân này là một công cụ tự động tìm thấy sự kết hợp nén tốt nhất cho một mô hình dựa trên các yêu cầu về hiệu suất và độ chính xác do người dùng chỉ định.

Phiên bản Pro của Pruna AI được lập hóa đơn theo giờ, tương tự như thuê GPU trên các dịch vụ đám mây như AWS. Bằng cách tối ưu hóa các mô hình, người dùng có thể giảm đáng kể chi phí suy luận. Chẳng hạn, Pruna AI đã quản lý để nén một mô hình Llama thành một phần tám kích thước ban đầu của nó với sự mất chất lượng tối thiểu, thể hiện tiết kiệm chi phí tiềm năng.

Công ty gần đây đã bảo đảm một vòng tài trợ hạt giống trị giá 6,5 triệu đô la từ các nhà đầu tư bao gồm EQT Ventures, Daphni, Motier Ventures và Kima Ventures. Pruna AI xem khung nén của mình là một khoản đầu tư chiến lược có thể tự trả thông qua việc giảm chi phí hoạt động.