Pruna AI revela a estrutura de otimização de modelo AI de código aberto

Pruna AI, uma startup européia focada no desenvolvimento de algoritmos de compressão para os modelos de IA, deve lançar sua estrutura de otimização como código aberto nesta quinta -feira. A empresa está trabalhando em uma estrutura que incorpora várias técnicas de eficiência, como cache, poda, quantização e destilação para melhorar o desempenho do modelo de IA.

John Rachwan, co-fundador e CTO da Pruna AI, explicou ao TechCrunch que sua estrutura não apenas aplica esses métodos, mas também padroniza o processo de economia, carregamento e avaliação de modelos compactados. Isso permite que os usuários avaliem qualquer perda de qualidade potencial e as melhorias de desempenho alcançadas através da compactação.

Rachwan comparou o papel de Pruna AI ao de abraçar o rosto, que padronizou o uso de transformadores e difusores. "Estamos fazendo o mesmo, mas para métodos de eficiência", afirmou, enfatizando a padronização de como esses métodos são aplicados e gerenciados.

Os principais laboratórios de IA já adotaram técnicas de compressão semelhantes. Por exemplo, o OpenAI usou a destilação para desenvolver versões mais rápidas de seus modelos, como o GPT-4 Turbo. Da mesma forma, o Black Forest Labs criou o Flux.1-Schnell, uma versão destilada do seu modelo de fluxo.1. A destilação envolve uma abordagem "professor-aluno", onde os resultados de um modelo maior são usados ​​para treinar um modelo menor e mais eficiente.

Rachwan apontou que, embora as grandes empresas geralmente desenvolvam essas ferramentas internamente, a comunidade de código aberto normalmente se concentra em métodos únicos. "Mas você não consegue encontrar uma ferramenta que agregue todos eles, facilitam todos fáceis de usar e combinar", disse ele, destacando a proposta de valor exclusiva de Pruna AI.

Além da versão de código aberto, a Pruna AI oferece uma edição corporativa com recursos de otimização avançada, incluindo um próximo agente de compressão. Rachwan descreveu esse agente como uma ferramenta que encontra automaticamente a melhor combinação de compressão para um modelo baseado em requisitos de desempenho e precisão especificados pelo usuário.

A versão Pro de Pruna AI é cobrada por hora, semelhante ao aluguel de uma GPU em serviços em nuvem como a AWS. Ao otimizar os modelos, os usuários podem reduzir significativamente os custos de inferência. Por exemplo, a PRUNA AI conseguiu comprimir um modelo de llama a um oitavo seu tamanho original com perda mínima de qualidade, demonstrando a potencial economia de custos.

Recentemente, a empresa garantiu uma rodada de financiamento de sementes de US $ 6,5 milhões de investidores, incluindo EQT Ventures, Daphni, Motier Ventures e Kima Ventures. A Pruna AI vê sua estrutura de compressão como um investimento estratégico que pode se pagar por meio de custos operacionais reduzidos.