Pruna AI揭开开源AI模型优化框架
Pruna AI,一家专注于开发AI模型压缩算法的欧洲初创公司,将于本周四发布其开源优化框架。该公司一直在开发一个整合多种效率技术的框架,包括缓存、剪枝、量化和蒸馏,以提升AI模型的性能。
Pruna AI的联合创始人兼首席技术官John Rachwan在接受TechCrunch采访时表示,他们的框架不仅应用了这些方法,还标准化了保存、加载和评估压缩模型的过程。这使用户能够评估压缩带来的任何潜在质量损失以及性能提升。
Rachwan将Pruna AI的角色比作Hugging Face,后者标准化了变换器和扩散器的使用。“我们也在做同样的事情,但针对的是效率方法,”他说道,强调了对这些方法应用和管理的标准化。
主要AI实验室已采用类似的压缩技术。例如,OpenAI使用蒸馏技术开发了更快的模型版本,如GPT-4 Turbo。同样,Black Forest Labs创建了Flux.1-schnell,这是其Flux.1模型的蒸馏版本。蒸馏涉及一种“教师-学生”方法,即使用较大模型的输出训练一个更小、更高效的模型。
Rachwan指出,虽然大公司通常在内部开发这些工具,但开源社区通常专注于单一方法。“但你找不到一个工具能整合所有这些方法,使它们易于使用和组合,”他表示,强调了Pruna AI的独特价值主张。

从左到右:Rayan Nait Mazi、Bertrand Charpentier、John Rachwan、Stephan Günnemann 图片来源:Pruna AI 尽管Pruna AI的框架支持多种模型,包括大型语言模型、扩散模型、语音转文本模型和计算机视觉模型,但该公司目前专注于图像和视频生成模型。Pruna AI的现有用户包括Scenario和PhotoRoom。除了开源版本,Pruna AI还提供具有高级优化功能的企业版,包括即将推出的压缩代理。Rachwan将该代理描述为一种工具,可根据用户指定的性能和准确性要求自动为模型找到最佳压缩组合。
Pruna AI的专业版按小时计费,类似于在AWS等云服务上租用GPU。通过优化模型,用户可以显著降低推理成本。例如,Pruna AI成功将一个Llama模型压缩到其原始大小的八分之一,同时质量损失极小,展示了潜在的成本节约。
该公司最近从EQT Ventures、Daphni、Motier Ventures和Kima Ventures等投资者那里获得了650万美元的种子轮融资。Pruna AI将其压缩框架视为一项战略投资,通过降低运营成本可以实现自我回报。
相关文章
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
人工智能竞赛不会等待,TechCrunch Disrupt 的 25% 折扣也不会等待
目前每一位投身人工智能领域的创始人都在思考同一个问题:我们的发展速度够快吗?效率够高吗?TechCrunch Disrupt 2026 将让您与那些正在最高层面思考这一关乎存亡问题的行业领军人物共聚一堂。 10月13日至15日,在旧金山,来自OpenAI、英伟达(Nvidia)、Anthropic、微软等公司的领军人物将分享他们的见解,届时数千名初创企业社区成员将齐聚一堂,进行交流。限时优惠:结账
“钱文AI免费版”与机构版:揭穿高价写作骗局
6月25日,中央电视台播出了关于混乱的高考志愿填报市场的一则调查报道,引发了广泛的公众讨论。 报道画面显示,许多高中升学中介机构打着“十年教龄教师”和“教授”等头衔的旗号,收取4,980至12,980元不等的天价费用。 实际上,这些所谓的“资深顾问”往往是入职不到两个月的新员工,甚至是兼职的大学生。他们的“专业方案”都是通过免费的Qwen AI生成的,有些机构甚至直接将Qwen生成的内容加价转卖给
相关专题推荐
评论 (32)
0/500
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI,一家专注于开发AI模型压缩算法的欧洲初创公司,将于本周四发布其开源优化框架。该公司一直在开发一个整合多种效率技术的框架,包括缓存、剪枝、量化和蒸馏,以提升AI模型的性能。
Pruna AI的联合创始人兼首席技术官John Rachwan在接受TechCrunch采访时表示,他们的框架不仅应用了这些方法,还标准化了保存、加载和评估压缩模型的过程。这使用户能够评估压缩带来的任何潜在质量损失以及性能提升。
Rachwan将Pruna AI的角色比作Hugging Face,后者标准化了变换器和扩散器的使用。“我们也在做同样的事情,但针对的是效率方法,”他说道,强调了对这些方法应用和管理的标准化。
主要AI实验室已采用类似的压缩技术。例如,OpenAI使用蒸馏技术开发了更快的模型版本,如GPT-4 Turbo。同样,Black Forest Labs创建了Flux.1-schnell,这是其Flux.1模型的蒸馏版本。蒸馏涉及一种“教师-学生”方法,即使用较大模型的输出训练一个更小、更高效的模型。
Rachwan指出,虽然大公司通常在内部开发这些工具,但开源社区通常专注于单一方法。“但你找不到一个工具能整合所有这些方法,使它们易于使用和组合,”他表示,强调了Pruna AI的独特价值主张。

除了开源版本,Pruna AI还提供具有高级优化功能的企业版,包括即将推出的压缩代理。Rachwan将该代理描述为一种工具,可根据用户指定的性能和准确性要求自动为模型找到最佳压缩组合。
Pruna AI的专业版按小时计费,类似于在AWS等云服务上租用GPU。通过优化模型,用户可以显著降低推理成本。例如,Pruna AI成功将一个Llama模型压缩到其原始大小的八分之一,同时质量损失极小,展示了潜在的成本节约。
该公司最近从EQT Ventures、Daphni、Motier Ventures和Kima Ventures等投资者那里获得了650万美元的种子轮融资。Pruna AI将其压缩框架视为一项战略投资,通过降低运营成本可以实现自我回报。
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
人工智能竞赛不会等待,TechCrunch Disrupt 的 25% 折扣也不会等待
目前每一位投身人工智能领域的创始人都在思考同一个问题:我们的发展速度够快吗?效率够高吗?TechCrunch Disrupt 2026 将让您与那些正在最高层面思考这一关乎存亡问题的行业领军人物共聚一堂。 10月13日至15日,在旧金山,来自OpenAI、英伟达(Nvidia)、Anthropic、微软等公司的领军人物将分享他们的见解,届时数千名初创企业社区成员将齐聚一堂,进行交流。限时优惠:结账
“钱文AI免费版”与机构版:揭穿高价写作骗局
6月25日,中央电视台播出了关于混乱的高考志愿填报市场的一则调查报道,引发了广泛的公众讨论。 报道画面显示,许多高中升学中介机构打着“十年教龄教师”和“教授”等头衔的旗号,收取4,980至12,980元不等的天价费用。 实际上,这些所谓的“资深顾问”往往是入职不到两个月的新员工,甚至是兼职的大学生。他们的“专业方案”都是通过免费的Qwen AI生成的,有些机构甚至直接将Qwen生成的内容加价转卖给
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





首页






