Pruna AI открывает структуру оптимизации модели ИИ с открытым исходным кодом

Pruna AI, европейский стартап, ориентированный на разработку алгоритмов сжатия для моделей искусственного интеллекта, собирается выпустить свою структуру оптимизации в качестве открытого исходного кода в этот четверг. Компания работает над структурой, которая включает в себя различные методы эффективности, такие как кэширование, обрезка, квантование и дистилляция для повышения производительности модели ИИ.

Джон Рэчван, соучредитель и технический директор Pruna AI, объяснил TechCrunch, что их структура не только применяет эти методы, но и стандартизирует процесс сохранения, загрузки и оценки сжатых моделей. Это позволяет пользователям оценивать любую потенциальную потерю качества и улучшения производительности, достигнутые за счет сжатия.

Рахван сравнил роль Пруны Ай с роли обнимающегося лица, которая стандартизировала использование трансформаторов и диффузоров. «Мы делаем то же самое, но для методов эффективности», - заявил он, подчеркивая стандартизацию того, как эти методы применяются и управляются.

Крупные лаборатории ИИ уже приняли аналогичные методы сжатия. Например, OpenAI использовала дистилляцию для разработки более быстрых версий своих моделей, таких как GPT-4 Turbo. Аналогичным образом, Bhard Forest Labs создал Flux.1-Schnell, дистиллированная версия их модели Flux.1. Дистилляция включает в себя подход «учителя-ученика», в котором выходы более крупной модели используются для обучения меньшей, более эффективной модели.

Рачван отметил, что, хотя крупные компании часто разрабатывают эти инструменты внутри, сообщество с открытым исходным кодом обычно фокусируется на отдельных методах. «Но вы не можете найти инструмент, который объединяет их все, облегчает их использование и объединяться», - сказал он, подчеркивая уникальное ценностное предложение Pruna AI.

В дополнение к версии с открытым исходным кодом, Pruna AI предлагает Enterprise Edition с расширенными функциями оптимизации, включая предстоящий агент сжатия. Рачван описал этот агент как инструмент, который автоматически находит наилучшую комбинацию сжатия для модели на основе определенных пользователей требований к производительности и точности.

Pro Pro Version Pro Pruna Ai выставлена ​​счета по часу, аналогично аренду графического процессора в облачных сервисах, таких как AWS. Оптимизируя модели, пользователи могут значительно снизить затраты на вывод. Например, Pruna AI удалось сжать модель Llama на один восьмой свой первоначальный размер с минимальной потерей качества, демонстрируя потенциальную экономию затрат.

Компания недавно получила раунд семян в размере 6,5 млн. Долл. США от инвесторов, включая EQT Ventures, Daphni, Motier Ventures и Kima Ventures. Pruna AI рассматривает свою структуру сжатия как стратегические инвестиции, которые могут оплачивать себя за счет снижения эксплуатационных расходов.