La startup francesa ZML presenta una herramienta gratuita para acelerar la inferencia de IA en múltiples chips

La era de supremacía de mercado sin restricciones de Nvidia podría estar llegando a su fin, pero los competidores y alternativas están surgiendo desde todos los ángulos.

ZML, una destacada startup francesa de inteligencia artificial respaldada por el laureado con el Premio Turing Yann LeCun, ha presentado un software de rendimiento de inferencia que permite que varios modelos de lenguaje grandes de código abierto funcionen en diversos hardware, incluidos Nvidia, AMD, TPUs de Google, Apple Metal e Intel Arc.

A través de ZML/LLMD, su nuevo servidor de inferencia de modelos de lenguaje grande (LLM), la empresa tiene como objetivo eliminar los silos existentes y maximizar la velocidad de diferentes chips para aplicaciones de IA, a menudo igualando o superando los estándares actuales, según Steeve Morin, fundador de ZML.

A medida que la IA se integra más profundamente en las rutinas profesionales y diarias, optimizar la inferencia (el procesamiento de las solicitudes de los usuarios) se ha vuelto cada vez más crítica, pero sigue siendo fragmentada debido a barreras de software y arquitectónicas que frecuentemente resultan en un bloqueo con el proveedor, señaló Morin.

Si bien ofrecer un rendimiento óptimo en múltiples tipos de chips es un logro técnico significativo, también plantea una posible alteración del mercado ante las crecientes preocupaciones por el aumento de los costos de la IA.

ZML pretende ofrecer a las empresas y proveedores de nube la flexibilidad de utilizar una combinación híbrida de chips, lo que podría reducir los costos y el consumo de energía. “Nuestro objetivo es capacitar a los usuarios para construir sus propios sistemas y lograr mejoras tangibles en la eficiencia, facilitando una adopción más amplia de la IA”, explicó Morin.

Este soporte de software podría beneficiar a los fabricantes emergentes de chips de IA, particularmente aquellos con sede en Europa, señaló Morin, enumerando empresas como Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud y VSORA. Sin embargo, enfatiza que la capacidad de ZML para colaborar en innovaciones sin precedentes es más importante que el origen geográfico.

Morin no ve a Nvidia de manera negativa, en gran parte debido a su cadena de suministro establecida. Dijo a TechCrunch que ZML mantiene una fuerte relación con el gigante del hardware de IA, que se está preparando activamente para la creciente demanda de capacidades de inferencia.

La inferencia ha atraído una inversión masiva, lo que ha provocado lo que algunos llaman la “carrera del oro de la inferencia”. En consecuencia, ZML enfrenta la competencia de actores como Baseten, recientemente valorado en 13.000 millones de dólares; Inferact, surgido de los creadores de vLLM; y RadixArk, la entidad comercial detrás de SGLang.

Si bien vLLM y SGLang ofrecen una superposición parcial con LLMD, Morin prevé que ZML cubra un ámbito más amplio. “Hemos alcanzado un punto en el que estamos diseñando conjuntamente el silicio”, afirmó. También atribuyó el rápido ritmo de desarrollo de la startup con sede en París a su equipo reducido de 20 empleados, con más actualizaciones planeadas.

El pequeño equipo también cuenta con una sólida financiación. Aprovechando su experiencia como vicepresidente de ingeniería en Zenly, adquirida por Snapchat por nueve cifras en 2017, Morin aseguró 20 millones de dólares de inversores que incluyen 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe y Puzzle Ventures.

A diferencia del marco de inferencia de código abierto inicial de ZML lanzado en 2024 y actualizado en marzo, ZML/LLMD no es de código abierto. Sin embargo, se lanza como una herramienta gratuita para recopilar datos de uso. “Prefiero medir el impacto y generar ingresos donde más importa, evitando obstáculos de crecimiento innecesarios causados por una monetización prematura”, dijo Morin.

Aún no está claro cuándo ZML/LLMD podría pasar a un modelo de pago o qué tan ampliamente se adoptará. No obstante, la lista de inversores de la startup señala un fuerte interés de líderes de la industria, incluido el fundador de Docker Solomon Hykes, Clément Delangue y Julien Chaumond de Hugging Face, y LeCun, ahora en AMI Labs. Esto refuerza el argumento de que las startups europeas de IA pueden prosperar localmente. “No podría haber construido ZML en ningún otro lugar que no fuera París”, concluyó Morin.