Google presenta un nuevo chip para cortar el costo de IA oculto mayor

En el evento Google Cloud Next 25, Google presentó la última iteración de su Unidad de Procesamiento de Tensores (TPU), llamada Ironwood. Este nuevo chip marca un cambio significativo en el enfoque de Google, enfatizando su uso para inferencia en lugar de entrenamiento. Tradicionalmente, las TPUs se han utilizado para entrenar redes neuronales, un proceso dominado por especialistas en AI y científicos de datos. Sin embargo, con Ironwood, Google ahora apunta a las necesidades de predicción en tiempo real de millones, si no miles de millones, de usuarios.

TPU Ironwood

El lanzamiento del TPU Ironwood llega en un momento crucial en la industria de la AI, donde el enfoque está cambiando de proyectos experimentales a aplicaciones prácticas de modelos de AI por parte de las empresas. La aparición de modelos de AI avanzados como Gemini de Google, que mejoran las capacidades de razonamiento, ha aumentado la demanda de potencia computacional durante la inferencia. Este cambio está elevando los costos, como destacó Google en su descripción de Ironwood: "el razonamiento y la inferencia en múltiples pasos están trasladando la demanda incremental de computación —y, por lo tanto, el costo— del entrenamiento al tiempo de inferencia (escalado en tiempo de prueba)." Ironwood representa el compromiso de Google con optimizar el rendimiento y la eficiencia, particularmente en el dominio cada vez más costoso de la inferencia.

Un chip de inferencia

El recorrido de Google con las TPUs abarca más de una década, con seis generaciones anteriores a Ironwood. Mientras que los chips de entrenamiento se producen en volúmenes más bajos, los chips de inferencia atienden a una audiencia más amplia que necesita predicciones diarias de modelos entrenados, lo que lo convierte en un mercado de alto volumen. Anteriormente, la TPU de sexta generación de Google, Trillium, se posicionó como capaz de realizar tanto entrenamiento como inferencia. Sin embargo, el enfoque principal de Ironwood en la inferencia marca una notable desviación de este enfoque de doble propósito.

Inversión necesaria

Este cambio de enfoque podría indicar un cambio en la dependencia de Google de fabricantes de chips externos como Intel, AMD y Nvidia. Históricamente, estos proveedores han dominado las operaciones de computación en la nube de Google, representando el 99% de los procesadores utilizados, según KeyBanc Capital Markets. Al invertir en sus propias TPUs, Google podría estar buscando reducir su dependencia de estos proveedores y potencialmente ahorrar en los crecientes costos de la infraestructura de AI. Analistas de bolsa, como Gil Luria de DA Davidson, han estimado que si Google vendiera TPUs directamente a los clientes de Nvidia, podría haber generado hasta $24 mil millones en ingresos el año pasado.

Ironwood vs. Trillium

Google destacó la superioridad técnica de Ironwood sobre Trillium en el evento. Ironwood cuenta con el doble de rendimiento por vatio, logrando 29.3 billones de operaciones de punto flotante por segundo. También cuenta con 192GB de memoria de alto ancho de banda (HBM), seis veces más que Trillium, y un ancho de banda de memoria de 7.2 terabits por segundo, que es 4.5 veces mayor. Estas mejoras están diseñadas para facilitar un mayor movimiento de datos y reducir la latencia en el chip durante las manipulaciones de tensores, como afirmó Google, "Ironwood está diseñado para minimizar el movimiento de datos y la latencia en el chip mientras realiza manipulaciones masivas de tensores."

Escalando la infraestructura de AI

Los avances en memoria y ancho de banda son centrales en la estrategia de Google para escalar su infraestructura de AI. Escalar implica utilizar eficientemente chips agrupados para resolver problemas en paralelo, mejorando el rendimiento y la utilización. Esto es crucial por razones económicas, ya que una mayor utilización significa menos desperdicio de recursos costosos. Google previamente destacó la capacidad de Trillium para escalar a cientos de miles de chips, y de manera similar, enfatizaron la capacidad de Ironwood para componer "cientos de miles de chips Ironwood para avanzar rápidamente en las fronteras de la computación GenAI."

Junto con el anuncio de hardware, Google también presentó Pathways on Cloud, una solución de software que distribuye tareas de computación de AI en diferentes máquinas. Anteriormente utilizada internamente, este software ahora está disponible para el público, mejorando aún más las capacidades de la infraestructura de AI de Google.