Energía e IA es el tema de la electricidad necesaria para entrenar y ejecutar modelos de inteligencia artificial. Estos modelos se ejecutan en data centers llenos de chips potentes, que consumen energía y necesitan ser enfriados.

Como funciona

El consumo de energía ocurre en dos fases principales.

En el entrenamiento, miles de chips trabajan juntos durante mucho tiempo para enseñar al modelo. Es una fase intensa, pero que ocurre de vez en cuando.

En la inferencia, el modelo ya entrenado responde a las solicitudes de los usuarios. Cada respuesta gasta poca energía, pero, sumadas, millones de respuestas por día representan una parte importante del consumo.

Además de los chips, los data centers gastan energía con refrigeración y con la infraestructura eléctrica.

Ejemplo práctico

Una empresa decide usar un modelo más pequeño, en lugar de un modelo gigante, para clasificar correos de clientes. El modelo más pequeño responde bien para esa tarea y usa menos recursos computacionales.

Otro caso: un equipo que ejecuta tareas pesadas por lotes elige hacerlo en horarios y regiones en las que el proveedor de nube tiene más energía limpia disponible, cuando esa información se ofrece.

Texto
Tarefa simples -> modelo pequeno
Tarefa difícil -> modelo maior
Resposta repetida -> cache

Esa regla práctica reduce costo y consumo al mismo tiempo.

Para qué sirve entender el tema

Entender la relación entre energía e IA ayuda a:

  • Elegir el modelo correcto para cada tarea, sin desperdiciar recursos.
  • Entender por qué las empresas invierten en nuevos data centers y en fuentes de energía.
  • Evaluar el impacto ambiental de proyectos de IA.
  • Planear costos, ya que la energía pesa en el precio de la infraestructura.

Para quien monta flujos con varios agentes, como en bridgecode, vale la pena elegir el modelo según la dificultad de cada etapa, en lugar de usar siempre el más grande.

Cuidados al leer números

Las estimaciones de consumo varían mucho según el método, el modelo y el hardware. Desconfía de números sin fuente, y prefiere reportes de agencias de energía, de investigaciones revisadas y de reportes de las propias empresas, siempre citando la fecha.

Diferencia entre energía en el entrenamiento y en la inferencia

Entrenar es un esfuerzo grande y concentrado. Inferir es un esfuerzo pequeño y continuo, repetido en cada uso. Con más personas usando IA, la inferencia gana peso en el total.