Pruna AI는 오픈 소스 AI 모델 최적화 프레임 워크를 공개합니다
Pruna AI, 인공지능 모델을 위한 압축 알고리즘 개발에 주력하는 유럽 스타트업은, 이번 목요일에 최적화 프레임워크를 오픈 소스로 공개할 예정이다. 이 회사는 캐싱, 프루닝, 양자화, 증류와 같은 다양한 효율성 기술을 통합하여 AI 모델 성능을 향상시키는 프레임워크를 개발해 왔다.
Pruna AI의 공동 창립자이자 CTO인 John Rachwan은 TechCrunch에 그들의 프레임워크가 이러한 방법들을 적용할 뿐만 아니라 압축된 모델을 저장하고, 로드하고, 평가하는 과정을 표준화한다고 설명했다. 이를 통해 사용자는 품질 손실 가능성과 압축을 통해 달성한 성능 개선을 평가할 수 있다.
Rachwan은 Pruna AI의 역할을 Hugging Face에 비유했는데, Hugging Face는 트랜스포머와 디퓨저의 사용을 표준화했다. 그는 “우리는 효율성 방법에 대해 동일한 작업을 하고 있다”며, 이러한 방법들이 어떻게 적용되고 관리되는지에 대한 표준화를 강조했다.
주요 AI 연구소들은 이미 유사한 압축 기술을 채택해 왔다. 예를 들어, OpenAI는 증류를 사용해 GPT-4 Turbo와 같은 더 빠른 모델 버전을 개발했다. 마찬가지로 Black Forest Labs는 Flux.1 모델의 증류 버전인 Flux.1-schnell을 만들었다. 증류는 더 큰 모델의 출력을 사용하여 더 작고 효율적인 모델을 훈련시키는 “교사-학생” 접근법을 포함한다.
Rachwan은 대기업들이 종종 이러한 도구를 내부적으로 개발하지만, 오픈 소스 커뮤니티는 일반적으로 단일 방법에 초점을 맞춘다고 지적했다. 그는 “그러나 모든 방법을 통합하고, 사용 및 조합을 쉽게 만드는 도구는 찾을 수 없다”며 Pruna AI의 독특한 가치 제안을 강조했다.

왼쪽에서 오른쪽으로: Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan Günnemann 이미지 제공: Pruna AI Pruna AI의 프레임워크는 대형 언어 모델, 디퓨전 모델, 음성-텍스트 모델, 컴퓨터 비전 모델 등 다양한 모델을 지원하지만, 현재 회사는 이미지 및 비디오 생성 모델에 초점을 맞추고 있다. Pruna AI의 기존 사용자로는 Scenario와 PhotoRoom이 포함된다.오픈 소스 버전 외에도 Pruna AI는 고급 최적화 기능을 포함한 엔터프라이즈 에디션을 제공하며, 여기에는 곧 출시될 압축 에이전트가 포함된다. Rachwan은 이 에이전트를 사용자가 지정한 성능 및 정확도 요구사항에 따라 모델에 최적의 압축 조합을 자동으로 찾아주는 도구로 설명했다.
Pruna AI의 프로 버전은 AWS와 같은 클라우드 서비스에서 GPU를 대여하는 것과 유사하게 시간당 요금으로 청구된다. 모델 최적화를 통해 사용자는 추론 비용을 크게 절감할 수 있다. 예를 들어, Pruna AI는 Llama 모델을 원래 크기의 8분의 1로 압축하면서도 품질 손실을 최소화하여 잠재적인 비용 절감을 보여주었다.
이 회사는 최근 EQT Ventures, Daphni, Motier Ventures, Kima Ventures 등의 투자자로부터 650만 달러 규모의 시드 펀딩 라운드를 확보했다. Pruna AI는 압축 프레임워크를 운영 비용 절감을 통해 자체적으로 비용을 충당할 수 있는 전략적 투자로 보고 있다.
관련 기사
메타 AI가 이제 페이스북 마켓플레이스에서 구매자의 메시지에 응답합니다
페이스북 마켓플레이스가 구매자 문의에 대한 자동 응답 기능을 포함한 새로운 메타 AI 기능을 도입한다고 목요일 회사 측이 발표했다. 또한 이 플랫폼은 AI를 활용해 상품 등록을 가속화하고 판매자 프로필을 요약하며, 이제 판매자가 상품 목록에 배송 옵션을 제공할 수 있도록 지원한다.판매자들은 종종 수많은 구매자 문의를 받기 때문에, 페이스북은 메타 AI 기반
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
구글, NotebookLM과 개인 지식 기반을 통합한 ‘제미니 노트북(Gemini Notebooks)’ 공개
구글은 최근 사용자가 맞춤형 지식 기반을 구축하여 복잡한 프로젝트를 관리할 수 있도록 돕기 위해 제미니(Gemini)용 ‘노트북(Notebooks)’ 기능을 출시했습니다. 이번 업데이트는 제미니와 AI 연구 보조 도구인 NotebookLM 간의 데이터 격차를 해소하며, 구글이 폐쇄형 AI 워크플로우를 구축하기 위한 노력의 중요한 단계가 되었습니다.노트북은
관련 특별 주제 추천
의견 (32)
0/500
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
Pruna AI, 인공지능 모델을 위한 압축 알고리즘 개발에 주력하는 유럽 스타트업은, 이번 목요일에 최적화 프레임워크를 오픈 소스로 공개할 예정이다. 이 회사는 캐싱, 프루닝, 양자화, 증류와 같은 다양한 효율성 기술을 통합하여 AI 모델 성능을 향상시키는 프레임워크를 개발해 왔다.
Pruna AI의 공동 창립자이자 CTO인 John Rachwan은 TechCrunch에 그들의 프레임워크가 이러한 방법들을 적용할 뿐만 아니라 압축된 모델을 저장하고, 로드하고, 평가하는 과정을 표준화한다고 설명했다. 이를 통해 사용자는 품질 손실 가능성과 압축을 통해 달성한 성능 개선을 평가할 수 있다.
Rachwan은 Pruna AI의 역할을 Hugging Face에 비유했는데, Hugging Face는 트랜스포머와 디퓨저의 사용을 표준화했다. 그는 “우리는 효율성 방법에 대해 동일한 작업을 하고 있다”며, 이러한 방법들이 어떻게 적용되고 관리되는지에 대한 표준화를 강조했다.
주요 AI 연구소들은 이미 유사한 압축 기술을 채택해 왔다. 예를 들어, OpenAI는 증류를 사용해 GPT-4 Turbo와 같은 더 빠른 모델 버전을 개발했다. 마찬가지로 Black Forest Labs는 Flux.1 모델의 증류 버전인 Flux.1-schnell을 만들었다. 증류는 더 큰 모델의 출력을 사용하여 더 작고 효율적인 모델을 훈련시키는 “교사-학생” 접근법을 포함한다.
Rachwan은 대기업들이 종종 이러한 도구를 내부적으로 개발하지만, 오픈 소스 커뮤니티는 일반적으로 단일 방법에 초점을 맞춘다고 지적했다. 그는 “그러나 모든 방법을 통합하고, 사용 및 조합을 쉽게 만드는 도구는 찾을 수 없다”며 Pruna AI의 독특한 가치 제안을 강조했다.

오픈 소스 버전 외에도 Pruna AI는 고급 최적화 기능을 포함한 엔터프라이즈 에디션을 제공하며, 여기에는 곧 출시될 압축 에이전트가 포함된다. Rachwan은 이 에이전트를 사용자가 지정한 성능 및 정확도 요구사항에 따라 모델에 최적의 압축 조합을 자동으로 찾아주는 도구로 설명했다.
Pruna AI의 프로 버전은 AWS와 같은 클라우드 서비스에서 GPU를 대여하는 것과 유사하게 시간당 요금으로 청구된다. 모델 최적화를 통해 사용자는 추론 비용을 크게 절감할 수 있다. 예를 들어, Pruna AI는 Llama 모델을 원래 크기의 8분의 1로 압축하면서도 품질 손실을 최소화하여 잠재적인 비용 절감을 보여주었다.
이 회사는 최근 EQT Ventures, Daphni, Motier Ventures, Kima Ventures 등의 투자자로부터 650만 달러 규모의 시드 펀딩 라운드를 확보했다. Pruna AI는 압축 프레임워크를 운영 비용 절감을 통해 자체적으로 비용을 충당할 수 있는 전략적 투자로 보고 있다.
메타 AI가 이제 페이스북 마켓플레이스에서 구매자의 메시지에 응답합니다
페이스북 마켓플레이스가 구매자 문의에 대한 자동 응답 기능을 포함한 새로운 메타 AI 기능을 도입한다고 목요일 회사 측이 발표했다. 또한 이 플랫폼은 AI를 활용해 상품 등록을 가속화하고 판매자 프로필을 요약하며, 이제 판매자가 상품 목록에 배송 옵션을 제공할 수 있도록 지원한다.판매자들은 종종 수많은 구매자 문의를 받기 때문에, 페이스북은 메타 AI 기반
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
구글, NotebookLM과 개인 지식 기반을 통합한 ‘제미니 노트북(Gemini Notebooks)’ 공개
구글은 최근 사용자가 맞춤형 지식 기반을 구축하여 복잡한 프로젝트를 관리할 수 있도록 돕기 위해 제미니(Gemini)용 ‘노트북(Notebooks)’ 기능을 출시했습니다. 이번 업데이트는 제미니와 AI 연구 보조 도구인 NotebookLM 간의 데이터 격차를 해소하며, 구글이 폐쇄형 AI 워크플로우를 구축하기 위한 노력의 중요한 단계가 되었습니다.노트북은
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





집






