Pruna AI открывает структуру оптимизации модели ИИ с открытым исходным кодом

Pruna AI, европейский стартап, специализирующийся на разработке алгоритмов сжатия для моделей ИИ, планирует выпустить свой оптимизационный фреймворк с открытым исходным кодом в этот четверг. Компания работает над фреймворком, который включает различные техники повышения эффективности, такие как кэширование, обрезка, квантование и дистилляция для улучшения производительности моделей ИИ.

Джон Рахван, сооснователь и технический директор Pruna AI, объяснил TechCrunch, что их фреймворк не только применяет эти методы, но и стандартизирует процесс сохранения, загрузки и оценки сжатых моделей. Это позволяет пользователям оценить возможную потерю качества и улучшения производительности, достигнутые благодаря сжатию.

Рахван сравнил роль Pruna AI с ролью Hugging Face, которая стандартизировала использование трансформеров и диффузионных моделей. «Мы делаем то же самое, но для методов повышения эффективности», — заявил он, подчеркивая стандартизацию применения и управления этими методами.

Крупные лаборатории ИИ уже применяют подобные техники сжатия. Например, OpenAI использовала дистилляцию для создания более быстрых версий своих моделей, таких как GPT-4 Turbo. Аналогично, Black Forest Labs создала Flux.1-schnell, дистиллированную версию своей модели Flux.1. Дистилляция предполагает подход «учитель-ученик», при котором выходные данные большей модели используются для обучения меньшей, более эффективной модели.

Рахван отметил, что крупные компании часто разрабатывают такие инструменты внутри компании, тогда как сообщество с открытым исходным кодом обычно фокусируется на отдельных методах. «Но вы не найдете инструмент, который объединяет их все, делает их простыми в использовании и комбинировании», — сказал он, подчеркивая уникальное ценностное предложение Pruna AI.

Помимо версии с открытым исходным кодом, Pruna AI предлагает корпоративную версию с продвинутыми функциями оптимизации, включая готовящийся к выпуску агент сжатия. Рахван описал этот агент как инструмент, который автоматически подбирает оптимальную комбинацию сжатия для модели на основе заданных пользователем требований к производительности и точности.

Профессиональная версия Pruna AI оплачивается почасово, подобно аренде GPU на облачных сервисах, таких как AWS. Оптимизируя модели, пользователи могут значительно снизить затраты на инференс. Например, Pruna AI удалось сжать модель Llama до одной восьмой от её исходного размера с минимальной потерей качества, демонстрируя потенциальную экономию затрат.

Компания недавно привлекла $6.5 миллиона в раунде начального финансирования от инвесторов, включая EQT Ventures, Daphni, Motier Ventures и Kima Ventures. Pruna AI рассматривает свой фреймворк сжатия как стратегическую инвестицию, которая может окупиться за счёт снижения операционных затрат.