Pruna AI revela a estrutura de otimização de modelo AI de código aberto
A Pruna AI, uma startup europeia focada no desenvolvimento de algoritmos de compressão para modelos de IA, está pronta para lançar seu framework de otimização como código aberto nesta quinta-feira. A empresa tem trabalhado em um framework que incorpora várias técnicas de eficiência, como caching, pruning, quantização e destilação, para melhorar o desempenho dos modelos de IA.
John Rachwan, cofundador e CTO da Pruna AI, explicou ao TechCrunch que o framework deles não apenas aplica esses métodos, mas também padroniza o processo de salvamento, carregamento e avaliação de modelos comprimidos. Isso permite que os usuários avaliem qualquer perda potencial de qualidade e as melhorias de desempenho alcançadas por meio da compressão.
Rachwan comparou o papel da Pruna AI ao da Hugging Face, que padronizou o uso de transformers e diffusers. "Estamos fazendo o mesmo, mas para métodos de eficiência", afirmou, enfatizando a padronização de como esses métodos são aplicados e gerenciados.
Grandes laboratórios de IA já adotaram técnicas de compressão semelhantes. Por exemplo, a OpenAI usou destilação para desenvolver versões mais rápidas de seus modelos, como o GPT-4 Turbo. Da mesma forma, a Black Forest Labs criou o Flux.1-schnell, uma versão destilada de seu modelo Flux.1. A destilação envolve uma abordagem "professor-aluno", na qual as saídas de um modelo maior são usadas para treinar um modelo menor e mais eficiente.
Rachwan destacou que, enquanto grandes empresas frequentemente desenvolvem essas ferramentas internamente, a comunidade de código aberto geralmente se concentra em métodos individuais. "Mas você não encontra uma ferramenta que agregue todos eles, facilite seu uso e combinação", disse ele, destacando a proposta de valor única da Pruna AI.

Da esquerda para a direita: Rayan Nait Mazi, Bertrand Charpentier, John Rachwan, Stephan GünnemannCréditos da imagem: Pruna AI Embora o framework da Pruna AI suporte uma ampla gama de modelos, incluindo modelos de linguagem de grande escala, modelos de difusão, modelos de fala para texto e modelos de visão computacional, a empresa está atualmente focada em modelos de geração de imagens e vídeos. Usuários existentes da Pruna AI incluem Scenario e PhotoRoom.Além da versão de código aberto, a Pruna AI oferece uma edição empresarial com recursos avançados de otimização, incluindo um agente de compressão que será lançado em breve. Rachwan descreveu esse agente como uma ferramenta que encontra automaticamente a melhor combinação de compressão para um modelo com base nos requisitos de desempenho e precisão especificados pelo usuário.
A versão pro da Pruna AI é cobrada por hora, semelhante ao aluguel de uma GPU em serviços de nuvem como a AWS. Ao otimizar modelos, os usuários podem reduzir significativamente os custos de inferência. Por exemplo, a Pruna AI conseguiu comprimir um modelo Llama para um oitavo de seu tamanho original com perda mínima de qualidade, demonstrando o potencial de economia de custos.
A empresa recentemente garantiu uma rodada de financiamento inicial de US$ 6,5 milhões de investidores, incluindo EQT Ventures, Daphni, Motier Ventures e Kima Ventures. A Pruna AI vê seu framework de compressão como um investimento estratégico que pode se pagar por meio da redução dos custos operacionais.
Artigo relacionado
A Meta AI agora responde às mensagens dos compradores no Facebook Marketplace
O Facebook Marketplace lança novos recursos de IA da Meta, incluindo respostas automáticas às consultas dos compradores, anunciou a empresa nesta quinta-feira. A plataforma também utiliza IA para agil
A OpenAI traça os contornos da economia da IA com fundos de riqueza pública, impostos sobre robôs e a semana de quatro dias
Enquanto os governos lutam para lidar com o impacto econômico das máquinas superinteligentes, a OpenAI divulgou um conjunto de propostas de políticas que delineiam como a riqueza e o trabalho poderiam
Google lança os Notebooks Gemini, combinando o NotebookLM com uma base de conhecimento pessoal
O Google lançou recentemente o recurso “Notebooks” para o Gemini, projetado para ajudar os usuários a gerenciar projetos complexos por meio da criação de uma base de conhecimento personalizada. Essa a
Recomendações de tópicos especiais relacionados
Comentários (32)
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀
A Pruna AI, uma startup europeia focada no desenvolvimento de algoritmos de compressão para modelos de IA, está pronta para lançar seu framework de otimização como código aberto nesta quinta-feira. A empresa tem trabalhado em um framework que incorpora várias técnicas de eficiência, como caching, pruning, quantização e destilação, para melhorar o desempenho dos modelos de IA.
John Rachwan, cofundador e CTO da Pruna AI, explicou ao TechCrunch que o framework deles não apenas aplica esses métodos, mas também padroniza o processo de salvamento, carregamento e avaliação de modelos comprimidos. Isso permite que os usuários avaliem qualquer perda potencial de qualidade e as melhorias de desempenho alcançadas por meio da compressão.
Rachwan comparou o papel da Pruna AI ao da Hugging Face, que padronizou o uso de transformers e diffusers. "Estamos fazendo o mesmo, mas para métodos de eficiência", afirmou, enfatizando a padronização de como esses métodos são aplicados e gerenciados.
Grandes laboratórios de IA já adotaram técnicas de compressão semelhantes. Por exemplo, a OpenAI usou destilação para desenvolver versões mais rápidas de seus modelos, como o GPT-4 Turbo. Da mesma forma, a Black Forest Labs criou o Flux.1-schnell, uma versão destilada de seu modelo Flux.1. A destilação envolve uma abordagem "professor-aluno", na qual as saídas de um modelo maior são usadas para treinar um modelo menor e mais eficiente.
Rachwan destacou que, enquanto grandes empresas frequentemente desenvolvem essas ferramentas internamente, a comunidade de código aberto geralmente se concentra em métodos individuais. "Mas você não encontra uma ferramenta que agregue todos eles, facilite seu uso e combinação", disse ele, destacando a proposta de valor única da Pruna AI.

Além da versão de código aberto, a Pruna AI oferece uma edição empresarial com recursos avançados de otimização, incluindo um agente de compressão que será lançado em breve. Rachwan descreveu esse agente como uma ferramenta que encontra automaticamente a melhor combinação de compressão para um modelo com base nos requisitos de desempenho e precisão especificados pelo usuário.
A versão pro da Pruna AI é cobrada por hora, semelhante ao aluguel de uma GPU em serviços de nuvem como a AWS. Ao otimizar modelos, os usuários podem reduzir significativamente os custos de inferência. Por exemplo, a Pruna AI conseguiu comprimir um modelo Llama para um oitavo de seu tamanho original com perda mínima de qualidade, demonstrando o potencial de economia de custos.
A empresa recentemente garantiu uma rodada de financiamento inicial de US$ 6,5 milhões de investidores, incluindo EQT Ventures, Daphni, Motier Ventures e Kima Ventures. A Pruna AI vê seu framework de compressão como um investimento estratégico que pode se pagar por meio da redução dos custos operacionais.
A Meta AI agora responde às mensagens dos compradores no Facebook Marketplace
O Facebook Marketplace lança novos recursos de IA da Meta, incluindo respostas automáticas às consultas dos compradores, anunciou a empresa nesta quinta-feira. A plataforma também utiliza IA para agil
A OpenAI traça os contornos da economia da IA com fundos de riqueza pública, impostos sobre robôs e a semana de quatro dias
Enquanto os governos lutam para lidar com o impacto econômico das máquinas superinteligentes, a OpenAI divulgou um conjunto de propostas de políticas que delineiam como a riqueza e o trabalho poderiam
Google lança os Notebooks Gemini, combinando o NotebookLM com uma base de conhecimento pessoal
O Google lançou recentemente o recurso “Notebooks” para o Gemini, projetado para ajudar os usuários a gerenciar projetos complexos por meio da criação de uma base de conhecimento personalizada. Essa a
Finalmente algo open-source pra otimizar modelos grandes! A quantidade de técnicas que mencionaram (cache, poda, quantização) é impressionante. Vai ser interessante testar isso em alguns projetos que tenho em mente. Acho que isso pode ajudar muito desenvolvedores independentes como eu a ter acesso a modelos mais eficientes. Boa iniciativa da startup europeia! 👏
O framework de código aberto da Pruna AI é uma bênção para nós entusiastas de AI DIY! É como ter uma faca suíça para otimizar modelos. Consegui reduzir meus modelos sem perder muita precisão, o que é incrível. O único problema? A documentação poderia ser mais detalhada. Ainda assim, mal posso esperar para ver o que mais eles vão lançar! 🚀
El marco de código abierto de Pruna AI es un regalo para nosotros los entusiastas del AI DIY. ¡Es como tener un cuchillo suizo para optimizar modelos! He podido reducir mis modelos sin perder mucha precisión, lo cual es genial. El único inconveniente es que la documentación podría ser más completa. ¡Aun así, no puedo esperar a ver qué más sacan! 🚀
Pruna AI's open-source framework sounds promising, but the setup was a bit of a headache. Once I got it running, the optimization really sped up my models. Just wish the documentation was clearer. Still, it's a solid tool for anyone looking to optimize AI models! 🤓
Pruna AI's open-source framework is a godsend for us DIY AI enthusiasts! It's like having a Swiss Army knife for optimizing models. I've been able to shrink my models without losing much accuracy, which is just awesome. The only hiccup? The documentation could use a bit more love. Still, can't wait to see what else they roll out! 🚀





Lar






