Pruna Ai dévoile

Pruna AI, une startup européenne axée sur le développement d'algorithmes de compression pour les modèles d'IA, s'apprête à publier son cadre d'optimisation en open source ce jeudi. L'entreprise a travaillé sur un cadre qui intègre diverses techniques d'efficacité telles que la mise en cache, l'élagage, la quantification et la distillation pour améliorer les performances des modèles d'IA.

John Rachwan, cofondateur et directeur technique de Pruna AI, a expliqué à TechCrunch que leur cadre non seulement applique ces méthodes, mais standardise également le processus de sauvegarde, de chargement et d'évaluation des modèles compressés. Cela permet aux utilisateurs d'évaluer toute perte potentielle de qualité et les améliorations de performance obtenues grâce à la compression.

Rachwan a comparé le rôle de Pruna AI à celui de Hugging Face, qui a standardisé l'utilisation des transformeurs et des diffuseurs. « Nous faisons de même, mais pour les méthodes d'efficacité », a-t-il déclaré, soulignant la standardisation de la manière dont ces méthodes sont appliquées et gérées.

Les principaux laboratoires d'IA ont déjà adopté des techniques de compression similaires. Par exemple, OpenAI a utilisé la distillation pour développer des versions plus rapides de ses modèles, comme GPT-4 Turbo. De même, Black Forest Labs a créé Flux.1-schnell, une version distillée de leur modèle Flux.1. La distillation implique une approche « enseignant-étudiant » où les sorties d'un modèle plus grand sont utilisées pour entraîner un modèle plus petit et plus efficace.

Rachwan a souligné que, bien que les grandes entreprises développent souvent ces outils en interne, la communauté open source se concentre généralement sur des méthodes uniques. « Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend faciles à utiliser et à combiner », a-t-il déclaré, mettant en avant la proposition de valeur unique de Pruna AI.

En plus de la version open source, Pruna AI propose une édition entreprise avec des fonctionnalités d'optimisation avancées, y compris un agent de compression à venir. Rachwan a décrit cet agent comme un outil qui trouve automatiquement la meilleure combinaison de compression pour un modèle en fonction des exigences de performance et de précision spécifiées par l'utilisateur.

La version pro de Pruna AI est facturée à l'heure, similaire à la location d'un GPU sur des services cloud comme AWS. En optimisant les modèles, les utilisateurs peuvent réduire considérablement les coûts d'inférence. Par exemple, Pruna AI a réussi à compresser un modèle Llama à un huitième de sa taille originale avec une perte de qualité minimale, démontrant le potentiel d'économies de coûts.

L'entreprise a récemment obtenu un tour de financement de démarrage de 6,5 millions de dollars auprès d'investisseurs tels que EQT Ventures, Daphni, Motier Ventures et Kima Ventures. Pruna AI considère son cadre de compression comme un investissement stratégique qui peut s'autofinancer grâce à la réduction des coûts opérationnels.