Pruna AI enthüllt Open-Source-AI-Modelloptimierungsrahmen

Pruna AI, ein europäisches Startup, das sich auf die Entwicklung von Kompressionsalgorithmen für KI-Modelle konzentriert, wird am Donnerstag sein Optimierungs-Framework als Open Source veröffentlichen. Das Unternehmen hat an einem Framework gearbeitet, das verschiedene Effizienztechniken wie Caching, Pruning, Quantisierung und Destillation integriert, um die Leistung von KI-Modellen zu verbessern.

John Rachwan, Mitbegründer und CTO von Pruna AI, erklärte gegenüber TechCrunch, dass ihr Framework diese Methoden nicht nur anwendet, sondern auch den Prozess des Speicherns, Ladens und Evaluierens komprimierter Modelle standardisiert. Dies ermöglicht es Nutzern, mögliche Qualitätsverluste und die durch Kompression erzielten Leistungsverbesserungen zu bewerten.

Rachwan verglich die Rolle von Pruna AI mit der von Hugging Face, das die Nutzung von Transformern und Diffusoren standardisiert hat. „Wir tun dasselbe, aber für Effizienzmethoden“, betonte er und hob die Standardisierung der Anwendung und Verwaltung dieser Methoden hervor.

Große KI-Labore haben bereits ähnliche Kompressionstechniken übernommen. Zum Beispiel hat OpenAI Destillation genutzt, um schnellere Versionen seiner Modelle wie GPT-4 Turbo zu entwickeln. Ebenso hat Black Forest Labs Flux.1-schnell erschaffen, eine destillierte Version ihres Flux.1-Modells. Destillation folgt einem „Lehrer-Schüler“-Ansatz, bei dem die Ausgaben eines größeren Modells genutzt werden, um ein kleineres, effizienteres Modell zu trainieren.

Rachwan wies darauf hin, dass große Unternehmen solche Tools oft intern entwickeln, während die Open-Source-Community sich in der Regel auf einzelne Methoden konzentriert. „Aber man findet kein Tool, das alle zusammenführt, sie einfach nutzbar macht und miteinander kombiniert“, sagte er und unterstrich den einzigartigen Mehrwert von Pruna AI.

Zusätzlich zur Open-Source-Version bietet Pruna AI eine Enterprise-Edition mit erweiterten Optimierungsfunktionen an, einschließlich eines kommenden Kompressionsagenten. Rachwan beschrieb diesen Agenten als ein Tool, das automatisch die beste Kompressionskombination für ein Modell basierend auf den vom Nutzer spezifizierten Leistungs- und Genauigkeitsanforderungen findet.

Die Pro-Version von Pruna AI wird stundenweise abgerechnet, ähnlich wie die Anmietung einer GPU auf Cloud-Diensten wie AWS. Durch die Optimierung von Modellen können Nutzer die Inferenzkosten erheblich senken. Zum Beispiel gelang es Pruna AI, ein Llama-Modell auf ein Achtel seiner ursprünglichen Größe zu komprimieren, mit minimalem Qualitätsverlust, was das Potenzial für Kosteneinsparungen verdeutlicht.

Das Unternehmen sicherte sich kürzlich eine Seed-Finanzierung in Höhe von 6,5 Millionen US-Dollar von Investoren wie EQT Ventures, Daphni, Motier Ventures und Kima Ventures. Pruna AI betrachtet sein Kompressions-Framework als strategische Investition, die sich durch reduzierte Betriebskosten selbst amortisieren kann.