Pruna AI는 오픈 소스 AI 모델 최적화 프레임 워크를 공개합니다
Pruna AI, 인공지능 모델을 위한 압축 알고리즘 개발에 주력하는 유럽 스타트업은, 이번 목요일에 최적화 프레임워크를 오픈 소스로 공개할 예정이다. 이 회사는 캐싱, 프루닝, 양자화, 증류와 같은 다양한 효율성 기술을 통합하여 AI 모델 성능을 향상시키는 프레임워크를 개발해 왔다.
Pruna AI의 공동 창립자이자 CTO인 John Rachwan은 TechCrunch에 그들의 프레임워크가 이러한 방법들을 적용할 뿐만 아니라 압축된 모델을 저장하고, 로드하고, 평가하는 과정을 표준화한다고 설명했다. 이를 통해 사용자는 품질 손실 가능성과 압축을 통해 달성한 성능 개선을 평가할 수 있다.
Rachwan은 Pruna AI의 역할을 Hugging Face에 비유했는데, Hugging Face는 트랜스포머와 디퓨저의 사용을 표준화했다. 그는 “우리는 효율성 방법에 대해 동일한 작업을 하고 있다”며, 이러한 방법들이 어떻게 적용되고 관리되는지에 대한 표준화를 강조했다.
주요 AI 연구소들은 이미 유사한 압축 기술을 채택해 왔다. 예를 들어, OpenAI는 증류를 사용해 GPT-4 Turbo와 같은 더 빠른 모델 버전을 개발했다. 마찬가지로 Black Forest Labs는 Flux.1 모델의 증류 버전인 Flux.1-schnell을 만들었다. 증류는 더 큰 모델의 출력을 사용하여 더 작고 효율적인 모델을 훈련시키는 “교사-학생” 접근법을 포함한다.
Rachwan은 대기업들이 종종 이러한 도구를 내부적으로 개발하지만, 오픈 소스 커뮤니티는 일반적으로 단일 방법에 초점을 맞춘다고 지적했다. 그는 “그러나 모든 방법을 통합하고, 사용 및 조합을 쉽게 만드는 도구는 찾을 수 없다”며 Pruna AI의 독특한 가치 제안을 강조했다.

왼쪽에서 오른쪽으로: Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan Günnemann 이미지 제공: Pruna AI Pruna AI의 프레임워크는 대형 언어 모델, 디퓨전 모델, 음성-텍스트 모델, 컴퓨터 비전 모델 등 다양한 모델을 지원하지만, 현재 회사는 이미지 및 비디오 생성 모델에 초점을 맞추고 있다. Pruna AI의 기존 사용자로는 Scenario와 PhotoRoom이 포함된다.오픈 소스 버전 외에도 Pruna AI는 고급 최적화 기능을 포함한 엔터프라이즈 에디션을 제공하며, 여기에는 곧 출시될 압축 에이전트가 포함된다. Rachwan은 이 에이전트를 사용자가 지정한 성능 및 정확도 요구사항에 따라 모델에 최적의 압축 조합을 자동으로 찾아주는 도구로 설명했다.
Pruna AI의 프로 버전은 AWS와 같은 클라우드 서비스에서 GPU를 대여하는 것과 유사하게 시간당 요금으로 청구된다. 모델 최적화를 통해 사용자는 추론 비용을 크게 절감할 수 있다. 예를 들어, Pruna AI는 Llama 모델을 원래 크기의 8분의 1로 압축하면서도 품질 손실을 최소화하여 잠재적인 비용 절감을 보여주었다.
이 회사는 최근 EQT Ventures, Daphni, Motier Ventures, Kima Ventures 등의 투자자로부터 650만 달러 규모의 시드 펀딩 라운드를 확보했다. Pruna AI는 압축 프레임워크를 운영 비용 절감을 통해 자체적으로 비용을 충당할 수 있는 전략적 투자로 보고 있다.
관련 기사
애플 스마트 글래스가 WWDC27에서 공개될 수 있으며, 프라이버시 보호를 강조할 것으로 예상된다
블룸버그의 마크 거먼은 시제품명 N50인 애플의 스마트 글래스가 2027년 6월 WWDC27에서 공개될 예정이며, 2027년 가을에 소매 시장 출시가 예상된다고 보도했다. 원래 올해 말과 2027년 초 출시가 목표였으나, 제품의 추가 정교화와 프라이버시 프로토콜 강화를 위해 출시 시기가 연기되었다.프라이버시는 애플의 스마트 글래스 전략의 핵심 기둥이다. 메타 등 경쟁사의 프라이버시 논란에서 교훈을 얻은 애플은 강력한 기능과 정책을 도입하고 있
내부 세부 사항 공개: 차세대 Gemini에 대한Computing Power의 긴장, 내부 팀들은 개발 우선순위와 자원 배분에 대해 의견이 갈렸다
보고에 따르면 구글의 높은 기대를 모았던次世代 제미니 모델의 출시가 연기되었다. 개발 우선순위와 자원 배분에 대한 내부 의견 불일치, 제한된 컴퓨팅 용량, 복잡한 승인 절차가 결합되어 2개월의 지연이 불가피해졌다. 자체 맞춤형 TPU 칩을 보유하고 있음에도 불구하고, 모델 학습, 구글 클라우드 서비스, 수많은 소비자 및 기업용 AI 애플리케이션 간의 경쟁적 수요로 인해 구글은 컴퓨팅 자원 부족에 직면해 있다. 최고 경영진은 이제 조직 개편을 통
OpenAI, 성장 둔화 우려 불식…여러 사업부門 가속화
외부로부터의 판매 성장 둔화 및 내부 목표 미달성에 대한 scrutiny에 대응하여, AI 선도 기업 오픈AI는 4월 28일 화요일에 자신감 있는 성명을 발표했다. 이 회사는 소비자 제품과 기업 서비스의 빠른 진전을 명확히 하며, 최근 제기된 사업 둔화에 대한 추측을 직접적으로 반박했다.동사가 "여러 내부 목표를 놓쳤다"는 주장에 대해, 오픈AI는 이러한 보도를 "전형적인 클릭베이트"로 일축했다. 이 회사는 AI 통합에 대한 강력한 기업 수요
관련 특별 주제 추천
의견 (32)
0/500
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI, 인공지능 모델을 위한 압축 알고리즘 개발에 주력하는 유럽 스타트업은, 이번 목요일에 최적화 프레임워크를 오픈 소스로 공개할 예정이다. 이 회사는 캐싱, 프루닝, 양자화, 증류와 같은 다양한 효율성 기술을 통합하여 AI 모델 성능을 향상시키는 프레임워크를 개발해 왔다.
Pruna AI의 공동 창립자이자 CTO인 John Rachwan은 TechCrunch에 그들의 프레임워크가 이러한 방법들을 적용할 뿐만 아니라 압축된 모델을 저장하고, 로드하고, 평가하는 과정을 표준화한다고 설명했다. 이를 통해 사용자는 품질 손실 가능성과 압축을 통해 달성한 성능 개선을 평가할 수 있다.
Rachwan은 Pruna AI의 역할을 Hugging Face에 비유했는데, Hugging Face는 트랜스포머와 디퓨저의 사용을 표준화했다. 그는 “우리는 효율성 방법에 대해 동일한 작업을 하고 있다”며, 이러한 방법들이 어떻게 적용되고 관리되는지에 대한 표준화를 강조했다.
주요 AI 연구소들은 이미 유사한 압축 기술을 채택해 왔다. 예를 들어, OpenAI는 증류를 사용해 GPT-4 Turbo와 같은 더 빠른 모델 버전을 개발했다. 마찬가지로 Black Forest Labs는 Flux.1 모델의 증류 버전인 Flux.1-schnell을 만들었다. 증류는 더 큰 모델의 출력을 사용하여 더 작고 효율적인 모델을 훈련시키는 “교사-학생” 접근법을 포함한다.
Rachwan은 대기업들이 종종 이러한 도구를 내부적으로 개발하지만, 오픈 소스 커뮤니티는 일반적으로 단일 방법에 초점을 맞춘다고 지적했다. 그는 “그러나 모든 방법을 통합하고, 사용 및 조합을 쉽게 만드는 도구는 찾을 수 없다”며 Pruna AI의 독특한 가치 제안을 강조했다.

오픈 소스 버전 외에도 Pruna AI는 고급 최적화 기능을 포함한 엔터프라이즈 에디션을 제공하며, 여기에는 곧 출시될 압축 에이전트가 포함된다. Rachwan은 이 에이전트를 사용자가 지정한 성능 및 정확도 요구사항에 따라 모델에 최적의 압축 조합을 자동으로 찾아주는 도구로 설명했다.
Pruna AI의 프로 버전은 AWS와 같은 클라우드 서비스에서 GPU를 대여하는 것과 유사하게 시간당 요금으로 청구된다. 모델 최적화를 통해 사용자는 추론 비용을 크게 절감할 수 있다. 예를 들어, Pruna AI는 Llama 모델을 원래 크기의 8분의 1로 압축하면서도 품질 손실을 최소화하여 잠재적인 비용 절감을 보여주었다.
이 회사는 최근 EQT Ventures, Daphni, Motier Ventures, Kima Ventures 등의 투자자로부터 650만 달러 규모의 시드 펀딩 라운드를 확보했다. Pruna AI는 압축 프레임워크를 운영 비용 절감을 통해 자체적으로 비용을 충당할 수 있는 전략적 투자로 보고 있다.
애플 스마트 글래스가 WWDC27에서 공개될 수 있으며, 프라이버시 보호를 강조할 것으로 예상된다
블룸버그의 마크 거먼은 시제품명 N50인 애플의 스마트 글래스가 2027년 6월 WWDC27에서 공개될 예정이며, 2027년 가을에 소매 시장 출시가 예상된다고 보도했다. 원래 올해 말과 2027년 초 출시가 목표였으나, 제품의 추가 정교화와 프라이버시 프로토콜 강화를 위해 출시 시기가 연기되었다.프라이버시는 애플의 스마트 글래스 전략의 핵심 기둥이다. 메타 등 경쟁사의 프라이버시 논란에서 교훈을 얻은 애플은 강력한 기능과 정책을 도입하고 있
내부 세부 사항 공개: 차세대 Gemini에 대한Computing Power의 긴장, 내부 팀들은 개발 우선순위와 자원 배분에 대해 의견이 갈렸다
보고에 따르면 구글의 높은 기대를 모았던次世代 제미니 모델의 출시가 연기되었다. 개발 우선순위와 자원 배분에 대한 내부 의견 불일치, 제한된 컴퓨팅 용량, 복잡한 승인 절차가 결합되어 2개월의 지연이 불가피해졌다. 자체 맞춤형 TPU 칩을 보유하고 있음에도 불구하고, 모델 학습, 구글 클라우드 서비스, 수많은 소비자 및 기업용 AI 애플리케이션 간의 경쟁적 수요로 인해 구글은 컴퓨팅 자원 부족에 직면해 있다. 최고 경영진은 이제 조직 개편을 통
OpenAI, 성장 둔화 우려 불식…여러 사업부門 가속화
외부로부터의 판매 성장 둔화 및 내부 목표 미달성에 대한 scrutiny에 대응하여, AI 선도 기업 오픈AI는 4월 28일 화요일에 자신감 있는 성명을 발표했다. 이 회사는 소비자 제품과 기업 서비스의 빠른 진전을 명확히 하며, 최근 제기된 사업 둔화에 대한 추측을 직접적으로 반박했다.동사가 "여러 내부 목표를 놓쳤다"는 주장에 대해, 오픈AI는 이러한 보도를 "전형적인 클릭베이트"로 일축했다. 이 회사는 AI 통합에 대한 강력한 기업 수요
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





집






