Pruna AI revela a estrutura de otimização de modelo AI de código aberto

A Pruna AI, uma startup europeia focada no desenvolvimento de algoritmos de compressão para modelos de IA, está pronta para lançar seu framework de otimização como código aberto nesta quinta-feira. A empresa tem trabalhado em um framework que incorpora várias técnicas de eficiência, como caching, pruning, quantização e destilação, para melhorar o desempenho dos modelos de IA.

John Rachwan, cofundador e CTO da Pruna AI, explicou ao TechCrunch que o framework deles não apenas aplica esses métodos, mas também padroniza o processo de salvamento, carregamento e avaliação de modelos comprimidos. Isso permite que os usuários avaliem qualquer perda potencial de qualidade e as melhorias de desempenho alcançadas por meio da compressão.

Rachwan comparou o papel da Pruna AI ao da Hugging Face, que padronizou o uso de transformers e diffusers. "Estamos fazendo o mesmo, mas para métodos de eficiência", afirmou, enfatizando a padronização de como esses métodos são aplicados e gerenciados.

Grandes laboratórios de IA já adotaram técnicas de compressão semelhantes. Por exemplo, a OpenAI usou destilação para desenvolver versões mais rápidas de seus modelos, como o GPT-4 Turbo. Da mesma forma, a Black Forest Labs criou o Flux.1-schnell, uma versão destilada de seu modelo Flux.1. A destilação envolve uma abordagem "professor-aluno", na qual as saídas de um modelo maior são usadas para treinar um modelo menor e mais eficiente.

Rachwan destacou que, enquanto grandes empresas frequentemente desenvolvem essas ferramentas internamente, a comunidade de código aberto geralmente se concentra em métodos individuais. "Mas você não encontra uma ferramenta que agregue todos eles, facilite seu uso e combinação", disse ele, destacando a proposta de valor única da Pruna AI.

Além da versão de código aberto, a Pruna AI oferece uma edição empresarial com recursos avançados de otimização, incluindo um agente de compressão que será lançado em breve. Rachwan descreveu esse agente como uma ferramenta que encontra automaticamente a melhor combinação de compressão para um modelo com base nos requisitos de desempenho e precisão especificados pelo usuário.

A versão pro da Pruna AI é cobrada por hora, semelhante ao aluguel de uma GPU em serviços de nuvem como a AWS. Ao otimizar modelos, os usuários podem reduzir significativamente os custos de inferência. Por exemplo, a Pruna AI conseguiu comprimir um modelo Llama para um oitavo de seu tamanho original com perda mínima de qualidade, demonstrando o potencial de economia de custos.

A empresa recentemente garantiu uma rodada de financiamento inicial de US$ 6,5 milhões de investidores, incluindo EQT Ventures, Daphni, Motier Ventures e Kima Ventures. A Pruna AI vê seu framework de compressão como um investimento estratégico que pode se pagar por meio da redução dos custos operacionais.