Pruna AI enthüllt Open-Source-AI-Modelloptimierungsrahmen

Pruna AI, ein europäisches Startup, das sich auf die Entwicklung von Komprimierungsalgorithmen für KI -Modelle konzentriert, soll an diesem Donnerstag sein Optimierungsrahmen als Open Source veröffentlichen. Das Unternehmen hat an einem Rahmen gearbeitet, der verschiedene Effizienztechniken wie Caching, Beschneidung, Quantisierung und Destillation umfasst, um die KI -Modellleistung zu verbessern.

John Rachwan, Mitbegründer und CTO von Pruna AI, erklärte TechCrunch, dass ihr Rahmen diese Methoden nicht nur anwendet, sondern auch den Prozess des Speichers, Ladens und Bewertung komprimierter Modelle standardisiert. Auf diese Weise können Benutzer potenzielle Qualitätsverlust und die durch Komprimierung erzielten Leistungsverbesserungen bewerten.

Rachwan verglich die Rolle von Pruna Ai mit der des Umarmenden Gesichts, was die Verwendung von Transformatoren und Diffusoren standardisierte. "Wir tun das Gleiche, aber für Effizienzmethoden", erklärte er und betonte die Standardisierung der Anwendung und Verwaltung dieser Methoden.

Große KI -Labors haben bereits ähnliche Kompressionstechniken angewendet. Zum Beispiel hat Openai eine Destillation verwendet, um schnellere Versionen seiner Modelle wie GPT-4-Turbo zu entwickeln. In ähnlicher Weise erzeugten schwarze Waldlabors Flux.1-Sschnell, eine destillierte Version ihres Flux.1-Modells. Die Destillation beinhaltet einen "Lehrer-Schüler" -Ansatz, bei dem die Ausgaben eines größeren Modells verwendet werden, um ein kleineres, effizienteres Modell zu trainieren.

Rachwan wies darauf hin, dass sich die Open-Source-Community jedoch in der Regel auf einzelne Methoden konzentriert. "Aber Sie können kein Werkzeug finden, das alle zusammenfasst, sie alle einfach zu bedienen und zu kombinieren zu lassen", sagte er und hob Pruna Ais einzigartiges Wertversprechen hervor.

Zusätzlich zur Open-Source-Version bietet Pruna AI eine Enterprise Edition mit erweiterten Optimierungsfunktionen, einschließlich eines bevorstehenden Komprimierungsagenten. Rachwan beschrieb diesen Agenten als ein Tool, das automatisch die beste Komprimierungskombination für ein Modell findet, das auf benutzerdefinierten Leistungs- und Genauigkeitsanforderungen basiert.

Die Pro -Version von Pruna Ai wird stundenlang in Rechnung gestellt, ähnlich wie die Vermietung einer GPU für Cloud -Dienste wie AWS. Durch die Optimierung von Modellen können Benutzer die Inferenzkosten erheblich senken. Zum Beispiel gelang es Pruna AI, ein Lama-Modell mit minimalem Qualitätsverlust auf ein achtiges Ursachen zu komprimieren, was die potenziellen Kosteneinsparungen demonstriert.

Das Unternehmen hat kürzlich eine Seed -Finanzierungsrunde in Höhe von 6,5 Millionen US -Dollar von Investoren wie EQT Ventures, Daphni, Motier Ventures und Kima Ventures sichergestellt. Pruna AI betrachtet seinen Komprimierungsrahmen als eine strategische Investition, die sich durch reduzierte Betriebskosten für sich selbst bezahlen kann.