Pruna AI presenta el marco de optimización del modelo de IA de código abierto

Pruna AI, una startup europea centrada en desarrollar algoritmos de compresión para modelos AI, está configurado para lanzar su marco de optimización como código abierto este jueves. La compañía ha estado trabajando en un marco que incorpora diversas técnicas de eficiencia, como almacenamiento en caché, poda, cuantización y destilación para mejorar el rendimiento del modelo de IA.

John Rachwan, cofundador y CTO de Pruna AI, explicó a TechCrunch que su marco no solo aplica estos métodos, sino que también estandariza el proceso de ahorro, carga y evaluación de modelos comprimidos. Esto permite a los usuarios evaluar cualquier posible pérdida de calidad y las mejoras de rendimiento logradas a través de la compresión.

Rachwan comparó el papel de Pruna Ai con el de Hugging Face, que estandarizó el uso de transformadores y difusores. "Estamos haciendo lo mismo, pero para los métodos de eficiencia", afirmó, enfatizando la estandarización de cómo se aplican y gestionan estos métodos.

Los principales laboratorios de IA ya han adoptado técnicas de compresión similares. Por ejemplo, OpenAI ha utilizado la destilación para desarrollar versiones más rápidas de sus modelos, como GPT-4 Turbo. Del mismo modo, Black Forest Labs creó Flux.1-Schnell, una versión destilada de su modelo Flux.1. La destilación implica un enfoque de "maestro-estudiante" donde se utilizan las salidas de un modelo más grande para entrenar un modelo más pequeño y más eficiente.

Rachwan señaló que, si bien las grandes empresas a menudo desarrollan estas herramientas internamente, la comunidad de código abierto generalmente se centra en métodos individuales. "Pero no puede encontrar una herramienta que los agregue a todos, los haga a todos fáciles de usar y combinar juntos", dijo, destacando la propuesta de valor única de Pruna AI.

Además de la versión de código abierto, Pruna AI ofrece una edición empresarial con características de optimización avanzada, incluido un próximo agente de compresión. Rachwan describió a este agente como una herramienta que encuentra automáticamente la mejor combinación de compresión para un modelo basado en los requisitos de rendimiento y precisión especificados por el usuario.

La versión Pro de Pruna AI se factura por la hora, similar a alquilar una GPU en servicios en la nube como AWS. Al optimizar los modelos, los usuarios pueden reducir significativamente los costos de inferencia. Por ejemplo, Pruna AI logró comprimir un modelo de LLAMA a un octavo su tamaño original con una pérdida de calidad mínima, lo que demuestra los posibles ahorros de costos.

La compañía recientemente obtuvo una ronda de financiamiento semillas de $ 6.5 millones de inversores, incluidos EQT Ventures, Daphni, Motier Ventures y Kima Ventures. Pruna AI ve su marco de compresión como una inversión estratégica que puede pagarse a sí misma a través de costos operativos reducidos.