Pruna Ai dévoile
Pruna AI, une startup européenne axée sur le développement d'algorithmes de compression pour les modèles d'IA, s'apprête à publier son cadre d'optimisation en open source ce jeudi. L'entreprise a travaillé sur un cadre qui intègre diverses techniques d'efficacité telles que la mise en cache, l'élagage, la quantification et la distillation pour améliorer les performances des modèles d'IA.
John Rachwan, cofondateur et directeur technique de Pruna AI, a expliqué à TechCrunch que leur cadre non seulement applique ces méthodes, mais standardise également le processus de sauvegarde, de chargement et d'évaluation des modèles compressés. Cela permet aux utilisateurs d'évaluer toute perte potentielle de qualité et les améliorations de performance obtenues grâce à la compression.
Rachwan a comparé le rôle de Pruna AI à celui de Hugging Face, qui a standardisé l'utilisation des transformeurs et des diffuseurs. « Nous faisons de même, mais pour les méthodes d'efficacité », a-t-il déclaré, soulignant la standardisation de la manière dont ces méthodes sont appliquées et gérées.
Les principaux laboratoires d'IA ont déjà adopté des techniques de compression similaires. Par exemple, OpenAI a utilisé la distillation pour développer des versions plus rapides de ses modèles, comme GPT-4 Turbo. De même, Black Forest Labs a créé Flux.1-schnell, une version distillée de leur modèle Flux.1. La distillation implique une approche « enseignant-étudiant » où les sorties d'un modèle plus grand sont utilisées pour entraîner un modèle plus petit et plus efficace.
Rachwan a souligné que, bien que les grandes entreprises développent souvent ces outils en interne, la communauté open source se concentre généralement sur des méthodes uniques. « Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend faciles à utiliser et à combiner », a-t-il déclaré, mettant en avant la proposition de valeur unique de Pruna AI.

De gauche à droite : Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan Günnemann Crédits image : Pruna AI Bien que le cadre de Pruna AI prenne en charge une large gamme de modèles, y compris les grands modèles de langage, les modèles de diffusion, les modèles de synthèse vocale et les modèles de vision par ordinateur, l'entreprise se concentre actuellement sur les modèles de génération d'images et de vidéos. Les utilisateurs actuels de Pruna AI incluent Scenario et PhotoRoom.En plus de la version open source, Pruna AI propose une édition entreprise avec des fonctionnalités d'optimisation avancées, y compris un agent de compression à venir. Rachwan a décrit cet agent comme un outil qui trouve automatiquement la meilleure combinaison de compression pour un modèle en fonction des exigences de performance et de précision spécifiées par l'utilisateur.
La version pro de Pruna AI est facturée à l'heure, similaire à la location d'un GPU sur des services cloud comme AWS. En optimisant les modèles, les utilisateurs peuvent réduire considérablement les coûts d'inférence. Par exemple, Pruna AI a réussi à compresser un modèle Llama à un huitième de sa taille originale avec une perte de qualité minimale, démontrant le potentiel d'économies de coûts.
L'entreprise a récemment obtenu un tour de financement de démarrage de 6,5 millions de dollars auprès d'investisseurs tels que EQT Ventures, Daphni, Motier Ventures et Kima Ventures. Pruna AI considère son cadre de compression comme un investissement stratégique qui peut s'autofinancer grâce à la réduction des coûts opérationnels.
Article connexe
Meta AI répond désormais aux messages des acheteurs sur Facebook Marketplace
Facebook Marketplace lance de nouvelles fonctionnalités basées sur l'IA de Meta, notamment des réponses automatiques aux demandes des acheteurs, a annoncé jeudi l'entreprise. La plateforme u
OpenAI présente les grandes lignes d'une économie de l'IA fondée sur des fonds de richesse publique, une taxe sur les robots et la semaine de quatre jours
Alors que les gouvernements peinent à gérer l’impact économique des machines superintelligentes, OpenAI a publié une série de propositions politiques décrivant comment la richesse et le travail pourra
Google dévoile les carnets Gemini, qui associent NotebookLM à une base de connaissances personnelle
Google a récemment lancé une fonctionnalité « Notebooks » pour Gemini, conçue pour aider les utilisateurs à gérer des projets complexes en créant une base de connaissances personnalisée. Cette mise à
Recommandations de sujets spéciaux liés
commentaires (32)
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI, une startup européenne axée sur le développement d'algorithmes de compression pour les modèles d'IA, s'apprête à publier son cadre d'optimisation en open source ce jeudi. L'entreprise a travaillé sur un cadre qui intègre diverses techniques d'efficacité telles que la mise en cache, l'élagage, la quantification et la distillation pour améliorer les performances des modèles d'IA.
John Rachwan, cofondateur et directeur technique de Pruna AI, a expliqué à TechCrunch que leur cadre non seulement applique ces méthodes, mais standardise également le processus de sauvegarde, de chargement et d'évaluation des modèles compressés. Cela permet aux utilisateurs d'évaluer toute perte potentielle de qualité et les améliorations de performance obtenues grâce à la compression.
Rachwan a comparé le rôle de Pruna AI à celui de Hugging Face, qui a standardisé l'utilisation des transformeurs et des diffuseurs. « Nous faisons de même, mais pour les méthodes d'efficacité », a-t-il déclaré, soulignant la standardisation de la manière dont ces méthodes sont appliquées et gérées.
Les principaux laboratoires d'IA ont déjà adopté des techniques de compression similaires. Par exemple, OpenAI a utilisé la distillation pour développer des versions plus rapides de ses modèles, comme GPT-4 Turbo. De même, Black Forest Labs a créé Flux.1-schnell, une version distillée de leur modèle Flux.1. La distillation implique une approche « enseignant-étudiant » où les sorties d'un modèle plus grand sont utilisées pour entraîner un modèle plus petit et plus efficace.
Rachwan a souligné que, bien que les grandes entreprises développent souvent ces outils en interne, la communauté open source se concentre généralement sur des méthodes uniques. « Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend faciles à utiliser et à combiner », a-t-il déclaré, mettant en avant la proposition de valeur unique de Pruna AI.

En plus de la version open source, Pruna AI propose une édition entreprise avec des fonctionnalités d'optimisation avancées, y compris un agent de compression à venir. Rachwan a décrit cet agent comme un outil qui trouve automatiquement la meilleure combinaison de compression pour un modèle en fonction des exigences de performance et de précision spécifiées par l'utilisateur.
La version pro de Pruna AI est facturée à l'heure, similaire à la location d'un GPU sur des services cloud comme AWS. En optimisant les modèles, les utilisateurs peuvent réduire considérablement les coûts d'inférence. Par exemple, Pruna AI a réussi à compresser un modèle Llama à un huitième de sa taille originale avec une perte de qualité minimale, démontrant le potentiel d'économies de coûts.
L'entreprise a récemment obtenu un tour de financement de démarrage de 6,5 millions de dollars auprès d'investisseurs tels que EQT Ventures, Daphni, Motier Ventures et Kima Ventures. Pruna AI considère son cadre de compression comme un investissement stratégique qui peut s'autofinancer grâce à la réduction des coûts opérationnels.
Meta AI répond désormais aux messages des acheteurs sur Facebook Marketplace
Facebook Marketplace lance de nouvelles fonctionnalités basées sur l'IA de Meta, notamment des réponses automatiques aux demandes des acheteurs, a annoncé jeudi l'entreprise. La plateforme u
OpenAI présente les grandes lignes d'une économie de l'IA fondée sur des fonds de richesse publique, une taxe sur les robots et la semaine de quatre jours
Alors que les gouvernements peinent à gérer l’impact économique des machines superintelligentes, OpenAI a publié une série de propositions politiques décrivant comment la richesse et le travail pourra
Google dévoile les carnets Gemini, qui associent NotebookLM à une base de connaissances personnelle
Google a récemment lancé une fonctionnalité « Notebooks » pour Gemini, conçue pour aider les utilisateurs à gérer des projets complexes en créant une base de connaissances personnalisée. Cette mise à
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





Maison






