Pruna AI presenta el marco de optimización del modelo de IA de código abierto

Pruna AI, una startup europea enfocada en desarrollar algoritmos de compresión para modelos de IA, lanzará su marco de optimización como código abierto este jueves. La empresa ha estado trabajando en un marco que incorpora diversas técnicas de eficiencia como almacenamiento en caché, poda, cuantización y destilación para mejorar el rendimiento de los modelos de IA.

John Rachwan, cofundador y CTO de Pruna AI, explicó a TechCrunch que su marco no solo aplica estos métodos, sino que también estandariza el proceso de guardado, carga y evaluación de modelos comprimidos. Esto permite a los usuarios evaluar cualquier pérdida potencial de calidad y las mejoras de rendimiento logradas a través de la compresión.

Rachwan comparó el rol de Pruna AI con el de Hugging Face, que estandarizó el uso de transformadores y difusores. "Estamos haciendo lo mismo, pero para métodos de eficiencia," afirmó, destacando la estandarización de cómo se aplican y gestionan estos métodos.

Los principales laboratorios de IA ya han adoptado técnicas de compresión similares. Por `

Por ejemplo, OpenAI ha utilizado la destilación para desarrollar versiones más rápidas de sus modelos, como GPT-4 Turbo. De manera similar, Black Forest Labs creó Flux.1-schnell, una versión destilada de su modelo Flux.1. La destilación implica un enfoque de "maestro-alumno" donde las salidas de un modelo más grande se utilizan para entrenar un modelo más pequeño y eficiente.

Rachwan señaló que, mientras las grandes empresas a menudo desarrollan estas herramientas internamente, la comunidad de código abierto suele centrarse en métodos individuales. "Pero no puedes encontrar una herramienta que los combine todos, los haga fáciles de usar y combinar," dijo, destacando la propuesta de valor única de Pruna AI.

Además de la versión de código abierto, Pruna AI ofrece una edición empresarial con funciones de optimización avanzadas, incluyendo un agente de compresión próximo a lanzarse. Rachwan describió este agente como una herramienta que encuentra automáticamente la mejor combinación de compresión para un modelo basado en los requisitos de rendimiento y precisión especificados por el usuario.

La versión pro de Pruna AI se factura por hora, similar al alquiler de una GPU en servicios en la nube como AWS. Al optimizar los modelos, los usuarios pueden reducir significativamente los costos de inferencia. Por ejemplo, Pruna AI logró comprimir un modelo Llama a un octavo de su tamaño original con una pérdida mínima de calidad, demostrando el potencial de ahorro de costos.

La empresa recientemente aseguró una ronda de financiación inicial de 6.5 millones de dólares de inversores como EQT Ventures, Daphni, Motier Ventures y Kima Ventures. Pruna AI ve su marco de compresión como una inversión estratégica que puede autofinanciarse a través de la reducción de costos operativos.