Pruna Ai dévoile

Pruna AI, une startup européenne axée sur le développement d'algorithmes de compression pour les modèles d'IA, est défini pour publier son cadre d'optimisation en tant que open source ce jeudi. La société a travaillé sur un cadre qui intègre diverses techniques d'efficacité telles que la mise en cache, l'élagage, la quantification et la distillation pour améliorer les performances du modèle d'IA.

John Rachwan, co-fondateur et CTO de Pruna AI, a expliqué à TechCrunch que leur cadre applique non seulement ces méthodes, mais également standardisant le processus d'économie, de chargement et d'évaluation des modèles compressés. Cela permet aux utilisateurs d'évaluer toute perte de qualité potentielle et les améliorations des performances réalisées grâce à la compression.

Rachwan a comparé le rôle de Pruna Ai à celui de l'étreinte Face, ce qui normalisé l'utilisation de transformateurs et de diffuseurs. "Nous faisons de même, mais pour les méthodes d'efficacité", a-t-il déclaré, soulignant la normalisation de la façon dont ces méthodes sont appliquées et gérées.

Les principaux laboratoires AI ont déjà adopté des techniques de compression similaires. Par exemple, OpenAI a utilisé la distillation pour développer des versions plus rapides de ses modèles, tels que GPT-4 Turbo. De même, Black Forest Labs a créé Flux.1-Schnell, une version distillée de leur modèle Flux.1. La distillation implique une approche «enseignante-élève» où les sorties d'un modèle plus grandes sont utilisées pour former un modèle plus petit et plus efficace.

Rachwan a souligné que si les grandes entreprises développent souvent ces outils en interne, la communauté open source se concentre généralement sur des méthodes uniques. "Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend tous faciles à utiliser et à combiner", a-t-il déclaré, mettant en évidence la proposition de valeur unique de Pruna AI.

En plus de la version open source, Pruna AI propose une édition d'entreprise avec des fonctionnalités d'optimisation avancées, y compris un prochain agent de compression. Rachwan a décrit cet agent comme un outil qui trouve automatiquement la meilleure combinaison de compression pour un modèle basé sur les exigences de performances et de précision spécifiées par l'utilisateur.

La version pro de Pruna AI est facturée par l'heure, similaire à la location d'un GPU sur des services cloud comme AWS. En optimisant les modèles, les utilisateurs peuvent réduire considérablement les coûts d'inférence. Par exemple, Pruna AI a réussi à comprimer un modèle de lama à un huitième de sa taille d'origine avec une perte de qualité minimale, démontrant les économies de coûts potentielles.

La société a récemment obtenu un cycle de financement des semences de 6,5 millions de dollars auprès d'investisseurs, notamment EQT Ventures, Daphni, Motier Ventures et Kima Ventures. Pruna AI considère son cadre de compression comme un investissement stratégique qui peut se payer pour une réduction des coûts opérationnels.