La búsqueda de potencia de cálculo para IA: ¿Es Cerebras la próxima gran innovación?

La creciente demanda de potencia de cálculo para ejecutar modelos de IA continúa intensificándose, sin embargo, los actores del sector enfrentan dos obstáculos críticos: asegurar el hardware adecuado y desplegarlo en centros de datos para comenzar a generar ingresos.

General Compute, un nuevo proveedor de neocloud enfocado en la inferencia especializado en la fase de despliegue donde los modelos responden a los usuarios en lugar de someterse a entrenamiento, ofrece soluciones que destacan la dirección evolutiva del ecosistema de IA. Estas ventajas estratégicas facilitaron una ronda de financiación semilla de 15 millones de dólares con una valoración post-dinero de 60 millones de dólares, liderada por FUSE VC, con la participación adicional de Carya Venture Partners y Village Global Ventures.

Identificar el chip óptimo es el primer desafío. Aunque la demanda de GPUs se ha disparado, cada vez se reconoce más que no son la opción más eficiente para ejecutar modelos de IA entrenados. Los requisitos computacionales para la inferencia difieren significativamente de los del entrenamiento, lo que ha impulsado el desarrollo de una nueva clase de chips diseñados específicamente para este propósito. La adquisición de Groq por parte de Nvidia por 20 mil millones de dólares en diciembre y la oferta pública inicial (IPO) de Cerebras por 57 mil millones de dólares la semana pasada subrayan este cambio.

Con limitaciones de capacidad en Groq y Cerebras, los cofundadores de General Compute, el CEO Finn Puklowski y el CTO Jason Goodison, identificaron una alternativa. Se han asociado con SambaNova, un fabricante de chips respaldado por Intel especializado en soluciones de inferencia que ha recibido menos atención en Silicon Valley.

Esta dinámica podría cambiar cuando SambaNova lance sus nuevos chips a finales de este año. La arquitectura ofrece mayor flexibilidad y utiliza más memoria para almacenar contexto durante los cálculos de inferencia. SambaNova afirma que estos chips superan no solo a las GPUs, sino también al hardware especializado de competidores como Groq y Cerebras. Según Puklowski, los nuevos chips alcanzarán velocidades de 600 a 700 tokens por segundo, en comparación con aproximadamente 250 tokens por segundo para las GPUs estándar.

General Compute ha realizado un pedido por valor de 300 millones de dólares de los chips SN50 de SambaNova y tiene como objetivo ser el primer neocloud en desplegarlos.

Estos chips también abordan el segundo gran desafío: la ubicación del despliegue. Dado que son refrigerados por aire en lugar de refrigerados por agua y consumen menos energía, pueden integrarse en instalaciones de centros de datos existentes sin requerir nuevas inversiones en infraestructura.

Puklowski está buscando acuerdos de colocación, donde General Compute instala su hardware en instalaciones de terceros. Estas alianzas se extienden más allá de los proveedores tradicionales de centros de datos para incluir a mineros de criptomonedas que buscan reutilizar su infraestructura, especialmente cuando el costo de minar Bitcoin a menudo supera su valor de mercado.

General Compute lanzó su servicio en la nube la semana pasada, afirmando que actualmente ofrece el rendimiento más rápido para MiniMax 2.7, un potente modelo de lenguaje grande de código abierto.

Joe Hasselmann, un inversor de capital de riesgo que respaldó a Groq en 2021 durante las etapas iniciales del auge de la inferencia, lanzó un nuevo fondo este año, Evercrest Capital Partners, centrado en IA. Realizó a General Compute su primera inversión. Hasselmann ve paralelismos entre la asociación de SambaNova con General Compute y la relación de Coreweave con Nvidia, así como la combinación de la fabricación de chips de Groq con sus ofertas anteriores de nube.

“Necesitan una base de clientes diversa que coloque sus chips en entornos de alto crecimiento”, señaló Hasselmann. “Al igual que General Compute apuesta por SambaNova, SambaNova apuesta por General Compute”.

La pregunta clave sigue siendo qué arquitectura informática capturará el mayor valor en el futuro de la IA. Las nubes de inferencia representan una apuesta implícita por un paisaje con múltiples modelos y agentes, donde ningún proveedor domina, y la velocidad y el costo se convierten en los factores competitivos principales. Esto se refleja en la reciente recaudación de 113 millones de dólares en Serie B de OpenRouter, que destaca su capacidad para proporcionar a los clientes acceso a múltiples modelos para optimizar el gasto de tokens.

La velocidad es crucial para la fijación de precios y la capacidad. Puklowski tiene como objetivo reducir las cargas de trabajo de agentes de codificación de una hora a cinco o diez minutos y hacer que los agentes de audio para atención al cliente sean más económicos al permitir una inferencia más rápida para conversaciones efectivas.

“Si usas ChatGPT y genera 50 tokens por segundo, eso sigue siendo mucho más rápido que la velocidad de lectura humana”, dijo Puklowski a TechCrunch. “Sin embargo, con el cambio hacia interacciones entre agentes, donde los agentes leen en nuestro nombre o consultan bases de datos, necesitan operar a velocidades mucho más altas.”