La inteligencia artificial (IA), motor de gran parte de la innovación tecnológica actual, se enfrenta a un desafío mayúsculo: su insaciable apetito energético. La proliferación de centros de datos masivos, esenciales para el entrenamiento de modelos de IA cada vez más complejos y potentes, ha disparado la huella de carbono del sector. Este consumo energético, traducido en un aumento constante de las emisiones de dióxido de carbono (CO2) asociadas al entrenamiento de los modelos de IA más avanzados, ha encendido las alarmas. Ante este panorama, grandes corporaciones tecnológicas ya contemplan el uso de fuentes de energía nuclear para alimentar sus operaciones, buscando un suministro constante y libre de emisiones. Sin embargo, mientras las soluciones a gran escala como los centros de datos con energía nuclear aún son una visión a futuro, la comunidad investigadora y la industria ya están implementando estrategias inmediatas para atajar el creciente consumo de energía de la IA, centrándose en una de las fases más intensivas en recursos: el entrenamiento de los modelos.
La estrategia que está ganando tracción y promete un cambio de paradigma es el entrenamiento descentralizado de IA. Este enfoque innovador consiste en distribuir el proceso de entrenamiento de modelos a través de una red de nodos independientes, rompiendo con la dependencia de una única plataforma o proveedor centralizado. La filosofía subyacente es simple pero poderosa: llevar la computación al lugar donde se encuentra la energía disponible. Esto puede significar aprovechar servidores infrautilizados en laboratorios de investigación, equipos informáticos en hogares conectados a energía solar, o cualquier otro punto de generación o almacenamiento energético. En lugar de erigir nuevos y gigantescos centros de datos, que requieren enormes extensiones de la red eléctrica para escalar su infraestructura y capacidad, la descentralización aprovecha las fuentes de energía existentes, evitando así la presión adicional sobre las redes eléctricas y reduciendo significativamente la necesidad de generar nueva energía.
Este modelo no solo busca optimizar el uso de recursos sino también fomentar una mayor eficiencia y sostenibilidad en el ciclo de vida de los modelos de IA. Al democratizar el acceso a la capacidad de computación y al permitir que la formación se realice en puntos geográficamente dispersos, se abren nuevas posibilidades para el desarrollo de IA más accesible y, sobre todo, más respetuosa con el medio ambiente. La promesa es clara: un futuro donde la IA avance sin comprometer la salud del planeta, un objetivo alineado con la urgencia global de abordar el cambio climático.
El Hardware: Coordinando la Potencia Distribuida
Tradicionalmente, el entrenamiento de modelos de IA se ha concebido como una disciplina de centros de datos masivos, donde clústeres de unidades de procesamiento gráfico (GPUs) trabajan en estrecha sincronía. Sin embargo, la vertiginosa escalada en el tamaño de modelos como los grandes modelos de lenguaje (LLMs) ha puesto a prueba los límites incluso de las infraestructuras más potentes. El hardware, a pesar de sus continuas mejoras, lucha por mantenerse al día con la demanda creciente, y los grandes centros de datos individuales están empezando a quedarse cortos.
Ante esta realidad, las empresas tecnológicas están optando por la fuerza combinada de múltiples centros de datos, independientemente de su ubicación geográfica. Un ejemplo claro es Nvidia, que con su solución Spectrum-XGS Ethernet para redes ‘scale-across’, busca facilitar el entrenamiento de IA a gran escala y la inferencia a través de centros de datos geográficamente separados. De manera similar, Cisco ha lanzado su router 8223, diseñado específicamente para conectar clústeres de IA distribuidos. Estas iniciativas subrayan una tendencia hacia la orquestación de recursos computacionales a una escala sin precedentes, donde la interconexión eficiente de sistemas distribuidos es clave.
Paralelamente, ha surgido un modelo de negocio innovador: el de GPU-as-a-Service (GPUaaS). Este modelo se basa en la cosecha de capacidad de cómputo ociosa o infrautilizada en servidores y estaciones de trabajo. Plataformas como Akash Network se autodenominan el «Airbnb para centros de datos», un mercado peer-to-peer de computación en la nube. Los usuarios con GPUs disponibles, ya sea en oficinas o pequeños centros de datos, pueden registrarse como proveedores, mientras que aquellos que necesitan potencia de cálculo pueden alquilar estas GPUs. Greg Osuri, CEO de Akash Network, destaca la transición hacia la consideración de GPUs más pequeñas junto a las de alta gama, abriendo aún más el abanico de posibilidades para el entrenamiento descentralizado. Este enfoque maximiza la utilización del hardware existente, reduciendo la necesidad de inversión en nueva infraestructura y, por ende, el consumo energético asociado.
El Software: Sincronizando y Optimizando el Aprendizaje
La descentralización del entrenamiento de IA no solo requiere una orquestación sofisticada del hardware, sino también adaptaciones significativas en el ámbito del software. Aquí es donde entra en juego el aprendizaje federado, una rama del aprendizaje automático distribuido. El proceso comienza con un modelo de IA global, alojado inicialmente en una entidad de confianza, como un servidor central. Este servidor distribuye el modelo a las organizaciones participantes, las cuales lo entrenan localmente utilizando sus propios datos. Posteriormente, solo comparten las actualizaciones de los pesos del modelo con la entidad central, tal como explica Lalana Kagal del MIT CSAIL. La entidad central agrega estas actualizaciones, generalmente mediante un promedio, las integra en el modelo global y envía la versión actualizada de vuelta a los participantes, repitiendo el ciclo hasta que el modelo alcanza el nivel de entrenamiento deseado. Este método es fundamental para el desarrollo de IA, permitiendo avances en campos como la robótica, como se ha visto en iniciativas como el dataset open-source AGIBOT WORLD 2026.
No obstante, la distribución de datos y cómputo presenta sus propios desafíos. El constante intercambio de pesos del modelo genera altos costos de comunicación, y la tolerancia a fallos es otra preocupación. El entrenamiento de IA es inherentemente sensible a interrupciones; si un nodo falla, la tarea puede necesitar reiniciarse desde el principio. Para superar estas limitaciones, investigadores de Google DeepMind desarrollaron DiLoCo (Distributed Low-Communication Optimization), un algoritmo que crea «islas de cómputo». Cada isla agrupa chips del mismo tipo y opera de forma desacoplada, sincronizando conocimientos solo periódicamente. Esta arquitectura permite que las islas entrenen de forma independiente, minimizando la comunicación y haciendo que el fallo de un chip no afecte a los demás. Sin embargo, los experimentos mostraron una disminución del rendimiento al superar las ocho islas.
Una versión mejorada, Streaming DiLoCo, reduce aún más los requisitos de ancho de banda al sincronizar el conocimiento de manera continua y en segundo plano, similar a la visualización de un vídeo antes de su descarga completa. Este enfoque mejora la eficiencia del sistema y la tolerancia a fallos, ya que la falla de un chip se limita a su «isla de cómputo». Plataformas como Prime Intellect han implementado variantes de DiLoCo para entrenar modelos de miles de millones de parámetros a través de múltiples países. 0G Labs, por su parte, ha adaptado DiLoCo para entrenar un modelo fundacional de más de cien mil millones de parámetros utilizando redes de clústeres segregados con ancho de banda limitado. Incluso el popular framework de deep learning de código abierto, PyTorch, ha incorporado DiLoCo en su repositorio de técnicas de tolerancia a fallos, demostrando la creciente adopción y utilidad de estas innovaciones. La comunidad de IA está demostrando una notable capacidad para adaptar y aplicar estas técnicas, haciendo posible el entrenamiento de modelos complejos en redes menos robustas, un paso crucial para la democratización de la IA.
Hacia un Futuro Energéticamente Eficiente para la IA
Con las mejoras tanto en hardware como en software, el entrenamiento descentralizado de IA está posicionado para abordar eficazmente el problema energético del sector. Este enfoque ofrece la posibilidad de entrenar modelos de manera más económica, eficiente en el uso de recursos y, fundamentalmente, más sostenible desde el punto de vista energético. Aunque los métodos como DiLoCo pueden ser más complejos, presentan un compromiso interesante en términos de eficiencia sistémica, permitiendo el uso de centros de datos distribuidos sin necesidad de crear un ancho de banda ultrarrápido entre ellos.
Además, la tolerancia a fallos intrínseca a estas arquitecturas distribuidas minimiza el impacto de las interrupciones. Las empresas pueden capitalizar la capacidad de procesamiento ya existente y subutilizada, en lugar de embarcarse en la construcción constante de nuevos centros de datos, cada vez más hambrientos de energía. Akash Network, por ejemplo, está apostando fuertemente por este modelo con su programa Starcluster. Una de sus ambiciones es integrar hogares alimentados por energía solar en la red de entrenamiento de IA, transformando literalmente los hogares en centros de datos funcionales. Este programa busca aprovechar no solo la energía solar sino también los dispositivos de consumo disponibles en estos hogares.
Si bien la participación activa en programas como Starcluster requerirá inversiones en equipos, como GPUs adecuadas y sistemas de respaldo de energía (baterías), el objetivo es simplificar este proceso mediante la colaboración con socios industriales. Se está trabajando activamente para permitir que los hogares se conviertan en proveedores en la red de Akash para 2027, con planes de expansión a otros lugares alimentados por energía solar, como escuelas y centros comunitarios. El entrenamiento descentralizado de IA representa una vía prometedora para guiar el desarrollo de la IA hacia un futuro más sostenible. Como señala Greg Osuri, el potencial reside en «llevar la IA donde está la energía, en lugar de llevar la energía donde está la IA», un principio fundamental para mitigar el impacto ambiental de esta tecnología transformadora y explorar alternativas como los robots humanoides para diversas aplicaciones, desde la industria hasta el hogar, como se vislumbra con avances en el control fronterizo con robots de UBTECH o las apuestas de Tesla con sus modelos Optimus Gen 3.
By
