Pruna Ai dévoile
Pruna AI, une startup européenne axée sur le développement d'algorithmes de compression pour les modèles d'IA, s'apprête à publier son cadre d'optimisation en open source ce jeudi. L'entreprise a travaillé sur un cadre qui intègre diverses techniques d'efficacité telles que la mise en cache, l'élagage, la quantification et la distillation pour améliorer les performances des modèles d'IA.
John Rachwan, cofondateur et directeur technique de Pruna AI, a expliqué à TechCrunch que leur cadre non seulement applique ces méthodes, mais standardise également le processus de sauvegarde, de chargement et d'évaluation des modèles compressés. Cela permet aux utilisateurs d'évaluer toute perte potentielle de qualité et les améliorations de performance obtenues grâce à la compression.
Rachwan a comparé le rôle de Pruna AI à celui de Hugging Face, qui a standardisé l'utilisation des transformeurs et des diffuseurs. « Nous faisons de même, mais pour les méthodes d'efficacité », a-t-il déclaré, soulignant la standardisation de la manière dont ces méthodes sont appliquées et gérées.
Les principaux laboratoires d'IA ont déjà adopté des techniques de compression similaires. Par exemple, OpenAI a utilisé la distillation pour développer des versions plus rapides de ses modèles, comme GPT-4 Turbo. De même, Black Forest Labs a créé Flux.1-schnell, une version distillée de leur modèle Flux.1. La distillation implique une approche « enseignant-étudiant » où les sorties d'un modèle plus grand sont utilisées pour entraîner un modèle plus petit et plus efficace.
Rachwan a souligné que, bien que les grandes entreprises développent souvent ces outils en interne, la communauté open source se concentre généralement sur des méthodes uniques. « Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend faciles à utiliser et à combiner », a-t-il déclaré, mettant en avant la proposition de valeur unique de Pruna AI.

De gauche à droite : Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan Günnemann Crédits image : Pruna AI Bien que le cadre de Pruna AI prenne en charge une large gamme de modèles, y compris les grands modèles de langage, les modèles de diffusion, les modèles de synthèse vocale et les modèles de vision par ordinateur, l'entreprise se concentre actuellement sur les modèles de génération d'images et de vidéos. Les utilisateurs actuels de Pruna AI incluent Scenario et PhotoRoom.En plus de la version open source, Pruna AI propose une édition entreprise avec des fonctionnalités d'optimisation avancées, y compris un agent de compression à venir. Rachwan a décrit cet agent comme un outil qui trouve automatiquement la meilleure combinaison de compression pour un modèle en fonction des exigences de performance et de précision spécifiées par l'utilisateur.
La version pro de Pruna AI est facturée à l'heure, similaire à la location d'un GPU sur des services cloud comme AWS. En optimisant les modèles, les utilisateurs peuvent réduire considérablement les coûts d'inférence. Par exemple, Pruna AI a réussi à compresser un modèle Llama à un huitième de sa taille originale avec une perte de qualité minimale, démontrant le potentiel d'économies de coûts.
L'entreprise a récemment obtenu un tour de financement de démarrage de 6,5 millions de dollars auprès d'investisseurs tels que EQT Ventures, Daphni, Motier Ventures et Kima Ventures. Pruna AI considère son cadre de compression comme un investissement stratégique qui peut s'autofinancer grâce à la réduction des coûts opérationnels.
Article connexe
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés
Conformité des véhicules autonomes en Californie : une nouvelle ère marquée par les amendes, les zones de géolocalisation et 1 million de miles
Guident exploite une navette AuveTech dans le sud de la Floride, gérant un parcours de quatre miles à West Palm Beach et un parcours d’un mile à Boca Raton grâce à sa technologie de surveillance à dis
Recommandations de sujets spéciaux liés
commentaires (32)
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI, une startup européenne axée sur le développement d'algorithmes de compression pour les modèles d'IA, s'apprête à publier son cadre d'optimisation en open source ce jeudi. L'entreprise a travaillé sur un cadre qui intègre diverses techniques d'efficacité telles que la mise en cache, l'élagage, la quantification et la distillation pour améliorer les performances des modèles d'IA.
John Rachwan, cofondateur et directeur technique de Pruna AI, a expliqué à TechCrunch que leur cadre non seulement applique ces méthodes, mais standardise également le processus de sauvegarde, de chargement et d'évaluation des modèles compressés. Cela permet aux utilisateurs d'évaluer toute perte potentielle de qualité et les améliorations de performance obtenues grâce à la compression.
Rachwan a comparé le rôle de Pruna AI à celui de Hugging Face, qui a standardisé l'utilisation des transformeurs et des diffuseurs. « Nous faisons de même, mais pour les méthodes d'efficacité », a-t-il déclaré, soulignant la standardisation de la manière dont ces méthodes sont appliquées et gérées.
Les principaux laboratoires d'IA ont déjà adopté des techniques de compression similaires. Par exemple, OpenAI a utilisé la distillation pour développer des versions plus rapides de ses modèles, comme GPT-4 Turbo. De même, Black Forest Labs a créé Flux.1-schnell, une version distillée de leur modèle Flux.1. La distillation implique une approche « enseignant-étudiant » où les sorties d'un modèle plus grand sont utilisées pour entraîner un modèle plus petit et plus efficace.
Rachwan a souligné que, bien que les grandes entreprises développent souvent ces outils en interne, la communauté open source se concentre généralement sur des méthodes uniques. « Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend faciles à utiliser et à combiner », a-t-il déclaré, mettant en avant la proposition de valeur unique de Pruna AI.

En plus de la version open source, Pruna AI propose une édition entreprise avec des fonctionnalités d'optimisation avancées, y compris un agent de compression à venir. Rachwan a décrit cet agent comme un outil qui trouve automatiquement la meilleure combinaison de compression pour un modèle en fonction des exigences de performance et de précision spécifiées par l'utilisateur.
La version pro de Pruna AI est facturée à l'heure, similaire à la location d'un GPU sur des services cloud comme AWS. En optimisant les modèles, les utilisateurs peuvent réduire considérablement les coûts d'inférence. Par exemple, Pruna AI a réussi à compresser un modèle Llama à un huitième de sa taille originale avec une perte de qualité minimale, démontrant le potentiel d'économies de coûts.
L'entreprise a récemment obtenu un tour de financement de démarrage de 6,5 millions de dollars auprès d'investisseurs tels que EQT Ventures, Daphni, Motier Ventures et Kima Ventures. Pruna AI considère son cadre de compression comme un investissement stratégique qui peut s'autofinancer grâce à la réduction des coûts opérationnels.
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





Maison






