Pruna AI揭開開源AI模型優化框架
Pruna AI,一家專注於開發 AI 模型壓縮演算法的歐洲新創公司,將於本週四以開源形式發布其優化框架。該公司一直在研發一個整合多種效率技術的框架,包括快取、剪枝、量化和蒸餾,以提升 AI 模型的性能。
Pruna AI 的共同創辦人兼技術長 John Rachwan 在接受 TechCrunch 採訪時表示,他們的框架不僅應用這些方法,還標準化了儲存、載入和評估壓縮模型的流程。這讓使用者能夠評估壓縮後的任何潛在品質損失以及性能提升。
Rachwan 將 Pruna AI 的角色比喻為 Hugging Face,後者標準化了變壓器和擴散器的使用。「我們在做同樣的事情,但針對效率方法,」他強調,專注於這些方法的應用和管理標準化。
主要 AI 實驗室已採用類似的壓縮技術。例如,OpenAI 使用蒸餾技術開發了其模型的更快版本,如 GPT-4 Turbo。同樣地,Black Forest Labs 創建了 Flux.1 的蒸餾版本 Flux.1-schnell。蒸餾涉及一種「教師-學生」方法,使用較大模型的輸出來訓練更小、更高效的模型。
Rachwan 指出,雖然大公司通常內部開發這些工具,但開源社群通常專注於單一方法。「但你找不到一個工具能整合所有方法,讓它們易於使用並結合在一起,」他說,強調 Pruna AI 的獨特價值主張。

從左到右:Rayan Nait Mazi、Bertrand Charpentier、John Rachwan、Stephan Günnemann 圖片來源:Pruna AI 雖然 Pruna AI 的框架支援廣泛的模型,包括大型語言模型、擴散模型、語音轉文字模型和電腦視覺模型,但該公司目前專注於圖像和影片生成模型。Pruna AI 的現有用戶包括 Scenario 和 PhotoRoom。除了開源版本,Pruna AI 還提供企業版,具備進階優化功能,包括即將推出的壓縮代理。Rachwan 將此代理描述為一種工具,能根據使用者指定的性能和準確度要求,自動為模型找到最佳壓縮組合。
Pruna AI 的專業版按小時計費,類似於在 AWS 等雲端服務上租用 GPU。通過優化模型,使用者可以顯著降低推論成本。例如,Pruna AI 成功將一個 Llama 模型壓縮至原始大小的八分之一,品質損失極小,展示了潛在的成本節約。
該公司最近從包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures 在內的投資者獲得了 650 萬美元的種子輪融資。Pruna AI 將其壓縮框架視為一項策略投資,通過降低營運成本實現自我回報。
相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
評論 (32)
0/500
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI,一家專注於開發 AI 模型壓縮演算法的歐洲新創公司,將於本週四以開源形式發布其優化框架。該公司一直在研發一個整合多種效率技術的框架,包括快取、剪枝、量化和蒸餾,以提升 AI 模型的性能。
Pruna AI 的共同創辦人兼技術長 John Rachwan 在接受 TechCrunch 採訪時表示,他們的框架不僅應用這些方法,還標準化了儲存、載入和評估壓縮模型的流程。這讓使用者能夠評估壓縮後的任何潛在品質損失以及性能提升。
Rachwan 將 Pruna AI 的角色比喻為 Hugging Face,後者標準化了變壓器和擴散器的使用。「我們在做同樣的事情,但針對效率方法,」他強調,專注於這些方法的應用和管理標準化。
主要 AI 實驗室已採用類似的壓縮技術。例如,OpenAI 使用蒸餾技術開發了其模型的更快版本,如 GPT-4 Turbo。同樣地,Black Forest Labs 創建了 Flux.1 的蒸餾版本 Flux.1-schnell。蒸餾涉及一種「教師-學生」方法,使用較大模型的輸出來訓練更小、更高效的模型。
Rachwan 指出,雖然大公司通常內部開發這些工具,但開源社群通常專注於單一方法。「但你找不到一個工具能整合所有方法,讓它們易於使用並結合在一起,」他說,強調 Pruna AI 的獨特價值主張。

除了開源版本,Pruna AI 還提供企業版,具備進階優化功能,包括即將推出的壓縮代理。Rachwan 將此代理描述為一種工具,能根據使用者指定的性能和準確度要求,自動為模型找到最佳壓縮組合。
Pruna AI 的專業版按小時計費,類似於在 AWS 等雲端服務上租用 GPU。通過優化模型,使用者可以顯著降低推論成本。例如,Pruna AI 成功將一個 Llama 模型壓縮至原始大小的八分之一,品質損失極小,展示了潛在的成本節約。
該公司最近從包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures 在內的投資者獲得了 650 萬美元的種子輪融資。Pruna AI 將其壓縮框架視為一項策略投資,通過降低營運成本實現自我回報。
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





首頁






