El uso de energía de ChatGPT más bajo de lo esperado

Chatgpt, el chatbot de Openai, podría no ser el Guzzler de energía que pensamos que era. Pero, su uso de energía puede variar mucho dependiendo de cómo se use y qué modelos de IA están respondiendo las preguntas, según un nuevo estudio.

Epoch AI, un grupo de investigación sin fines de lucro, hizo una grieta al descubrir cuánto jugo usa una consulta típica de ChatGPT. Es posible que haya escuchado que ChatGPT necesita unos 3 vatios para responder una sola pregunta, que es 10 veces más que una búsqueda en Google. Pero Epoch cree que es una exageración.

Utilizando el último modelo predeterminado de OpenAI, GPT-4O, como punto de referencia, Epoch descubrió que la consulta ChatGPT promedio en realidad usa alrededor de 0.3 vatios. Eso es menos de lo que muchos electrodomésticos necesitan.

"El uso de energía en realidad no es un gran problema en comparación con el uso de electrodomésticos normales o calefacción o enfriando su hogar, o conducir un automóvil", dijo a TechCrunch de Joshua, el analista de datos de Epoch, quien realizó el análisis.

El uso de energía de la IA y su impacto en el medio ambiente es un tema candente, ya que las compañías de IA buscan expandir sus centros de datos como Crazy. La semana pasada, más de 100 organizaciones firmaron una carta abierta instando a la industria de la IA y a los reguladores a asegurarse de que los nuevos centros de datos de IA no drenen los recursos naturales y obligen a los servicios públicos a confiar en fuentes de energía no renovables.

Le dijiste a TechCrunch que su análisis fue provocado por lo que vio como investigación anticuada. Señaló que el informe que se le ocurrió la estimación de 3 vatios que se suponía que OpenAi estaba usando chips más antiguos y menos eficientes para ejecutar sus modelos.

"He visto mucho discurso público que reconoció correctamente que AI iba a consumir mucha energía en los próximos años, pero en realidad no describía con precisión la energía que iba a IA hoy", dijo. "Además, algunos de mis colegas notaron que la estimación más ampliamente informada de 3 vatios por consulta se basaba en una investigación bastante antigua, y basada en algunas savinas de matemáticas parecía ser demasiado alta".

Claro, la cifra de 0.3 vatios de época también es solo una estimación. Operai no ha compartido los detalles necesarios para hacer un cálculo preciso.

El análisis tampoco tiene en cuenta los costos adicionales de energía de las características de ChatGPT como generación de imágenes o procesar entradas largas. Admitió que las consultas ChatGPT de "entrada larga", como las que tienen archivos largos adjuntos, probablemente usan más electricidad por adelantado que una pregunta típica.

Sin embargo, dijiste que espera que el consumo de energía de referencia de ChatGPT aumente.

"\ [El \] AI se volverá más avanzado, la capacitación de esta IA probablemente requerirá mucha más energía, y esta IA futura puede usarse mucho más intensamente, manejando muchas más tareas y tareas más complejas que la forma en que las personas usan ChatGPT hoy", dijo.

Si bien últimamente ha habido algunos avances geniales en la eficiencia de la IA, se espera que la escala a la que se está utilizando AI genere un crecimiento enorme de la infraestructura hambrienta de energía. En los próximos dos años, los centros de datos de IA podrían necesitar casi toda la capacidad de energía 2022 de California (68 GW), según un informe de RAND. Para 2030, el entrenamiento de un modelo fronterizo podría necesitar potencia equivalente a ocho reactores nucleares (8 GW), predijo el informe.

Chatgpt solo llega a un montón de personas, y ese número solo crece, lo que significa que las demandas de su servidor son masivas. Openai, junto con varios socios de inversión, planea gastar miles de millones en nuevos proyectos de centros de datos de IA en los próximos años.

El enfoque de Openai, junto con el resto de la industria de la IA, se está cambiando a modelos de razonamiento. Estos modelos pueden hacer más tareas pero necesitan más potencia informática para ejecutar. A diferencia de los modelos como GPT-4O, que responden consultas casi al instante, los modelos de razonamiento "piensan" durante segundos o minutos antes de responder, lo que utiliza más potencia informática y, por lo tanto, más energía.

"Los modelos de razonamiento asumirán cada vez más tareas que los modelos más antiguos no pueden, y generarán más \ [datos \] para hacerlo, y ambos requieren más centros de datos", dijo.

Operai ha comenzado a lanzar modelos de razonamiento más eficientes en poder como O3-Mini. Pero parece poco probable, al menos en este momento, que estas ganancias de eficiencia compensen la mayor demanda de energía del proceso de "pensamiento" de los modelos de razonamiento y el creciente uso de la IA en todo el mundo.

Sugirió que si le preocupa su huella de energía de IA, debe usar aplicaciones como ChatGPT con menos frecuencia, o elegir modelos que usen menos potencia informática, si es posible.

"Podría intentar usar modelos de IA más pequeños como \ [OpenAI's \] GPT-4O-Mini", dijo, "y usarlos con moderación de una manera que requiera procesar o generar una tonelada de datos".