Pentium 4 Revival: Una CPU de 20 años de antigüedad ejecuta el modelo grande Meta Llama 3

Recientemente, el canal técnico de YouTube Fully Buffered llevó a cabo un experimento impresionante y riguroso: lograron ejecutar con éxito el último modelo grande de Meta, Llama 3.2 3B, en un procesador Pentium 4 641, un chip lanzado en 2006.

Esta prueba obligó a la inteligencia artificial moderna a enfrentarse a hardware de hace dos décadas, lo que no solo reveló los límites fundamentales de compatibilidad de los LLMs, sino que también hizo que muchos espectadores reflexionaran sobre cómo la Ley de Moore en la era de la IA ha logrado un tipo de conexión intergeneracional de una manera inusual.

Arqueología del Hardware: Llevando al límite componentes de 2006

Para llevar a cabo esta prueba, el equipo de Fully Buffered recreó los límites de hardware de un conjunto típico para entusiastas de 2006:

Procesador Central: Intel Pentium 4 641 (3.2GHz, monocore, caché L2 de 2MB).

Configuración de Memoria: Placa base ASUS P5WDH Deluxe combinada con cuatro módulos de memoria DDR2-800 de 2GB cada uno, sumando un total de 8GB.

Entorno Software: El equipo configuró específicamente un entorno de inferencia en modo sin AVX para compensar la falta de instrucciones AVX2 en esta arquitectura más antigua.

Inferencia a un ritmo lento: 0.21 tokens por segundo

Durante la prueba, cuando se le preguntó al sistema “¿Qué es un Pentium 4?”, este procesador monocore de hace dos décadas se activó al máximo de su capacidad inmediatamente.

Velocidad de salida: La tasa de generación de respuestas alcanzó un mínimo de 0.21 tokens por segundo.

Tiempo requerido: Para producir una respuesta completa, el Pentium 4 funcionó a plena carga durante casi 33 minutos.

En el contexto actual de aplicaciones de IA que requieren respuestas en milisegundos, una espera de 33 minutos parece un fracaso total. Pero para este chip monocore de la era NetBurst, fue una maratón de 20 años de principios de la IA funcionando sobre silicio obsoleto.

Más allá de la practicidad: Probando los límites de compatibilidad de la IA

¿Por qué ejecutar la IA en hardware tan antiguo? El equipo de prueba explicó que el objetivo no era su uso práctico, sino explorar dos limites críticos:

Viabilidad del conjunto de instrucciones sin AVX: Los modelos grandes modernos casi siempre asumen soporte para AVX, pero con un modo de inferencia específico, la IA puede seguir funcionando sin estas instrucciones.

La memoria como base: El modelo de 3 mil millones de parámetros apenas cabía en los 8GB de memoria DDR2, lo que demuestra que incluso con una potencia computacional extremadamente limitada, un procesador monocore puede seguir soportando modelos grandes modernos sin depender de la potencia de una GPU de alta gama.

Epílogo: El último capítulo de la arquitectura NetBurst

En 2006, el Intel Pentium 4 todavía buscaba altas velocidades de reloj con la arquitectura NetBurst, dando prioridad a la frecuencia sobre la eficiencia. Los ingenieros de ese momento quizás pudieron prever la llegada de una era de procesadores potentes, pero probablemente nunca imaginaron que su arquitectura, veinte años después, describiría con esfuerzo su propia historia.

Este experimento ofrece un punto de referencia extremo para el ecosistema de hardware de IA: La potencia computacional determina la velocidad de respuesta, pero la compatibilidad del conjunto de instrucciones y la capacidad de memoria son los verdaderos pilares para ejecutar modelos grandes. Cuando el Pentium 4 finalmente escribió su propia descripción en la pantalla, no fue solo un éxito en la inferencia, sino también una despedida poética en la historia de la informática.