Desde aproximadamente 2020, la inteligencia artificial (IA) se ha centrado predominantemente en el entrenamiento de modelos cada vez más grandes y sofisticados. Los modelos de lenguaje grandes (LLMs) crecieron de millones a billones de parámetros, demostrando una eficacia notable. Un ejemplo claro es el GPT-3 de OpenAI, cuya versión más grande, lanzada en 2020, respondía correctamente al 43.9% de las preguntas en un conocido benchmark de conocimiento y razonamiento. Tan solo cuatro años después, el GPT-4o alcanzó un impresionante 88.7% en el mismo examen, equiparándose a expertos humanos.
Aunque los laboratorios de IA avanzados continúan entrenando modelos de mayor escala, este aspecto ha quedado en un segundo plano en la conversación tecnológica. En 2026, la inferencia —el proceso de utilizar modelos ya entrenados para generar código, redactar ensayos o crear imágenes— ha cobrado protagonismo absoluto. Como señala Matt Kimball, analista principal de centros de datos en Moor Insights & Strategy, «el entrenamiento son noticias del ayer. Todo lo que un director de información quiere discutir es la inferencia». Jensen Huang, CEO de Nvidia, calificó este cambio como el «punto de inflexión de la inferencia» durante su conferencia GTC 2026.
Este cambio se debe, en gran medida, a la creciente utilidad de los LLMs y su consecuente adopción masiva. Muchos de los modelos actuales son «modelos de razonamiento» que, ante una consulta, ejecutan la inferencia múltiples veces mediante un proceso de auto-repregunta conocido como chain of thought (cadena de pensamiento). Estos modelos generan respuestas más extensas, y aquellos con un alto esfuerzo de razonamiento pueden producir hasta 20 veces más texto que los modelos con bajo o nulo esfuerzo. A esto se suma el auge de la IA agentiva, que permite que la inferencia se ejecute de forma continua, las 24 horas del día, persiguiendo objetivos definidos por el usuario, lo que incrementa exponencialmente la carga de trabajo computacional.
La explosión en la demanda de inferencia ha propiciado alianzas estratégicas inesperadas. OpenAI y Amazon han desplegado chips de gran tamaño diseñados por Cerebras, a pesar de que Amazon cuenta con sus propios chips Trainium. Nvidia adquirió talento y propiedad intelectual de la startup de inferencia de IA Groq por 20.000 millones de dólares. Incluso Anthropic está destinando más de mil millones de dólares mensuales para arrendar capacidad de cómputo a su competidor en LLMs, SpaceXAI. Estas movidas demuestran que, para sostener la demanda de inferencia, se requerirá una combinación de hardware muy diferente a la anticipada hace apenas un par de años.
Aunque a menudo se confunden, el entrenamiento y la inferencia de IA son procesos computacionalmente distintos. El primero se asemeja a un juego de adivinanzas a gran escala donde el modelo ajusta sus billones de parámetros. La inferencia, en cambio, utiliza el modelo ya configurado para generar resultados. La diferencia fundamental reside en la ausencia del proceso de backpropagation en la inferencia, eliminando la necesidad de actualizar parámetros y centrándose en la ejecución rápida y eficiente de las predicciones.
En el contexto de la robótica, esta evolución hacia la inferencia intensiva abre nuevas vías. La capacidad de procesar información en tiempo real y de forma autónoma es crucial para el desarrollo de robots humanoides capaces de interactuar con entornos complejos, tomar decisiones rápidas y adaptarse a situaciones imprevistas. La mejora en la inferencia podría acelerar la implementación de robots en sectores como la logística, la manufactura e incluso la asistencia personal, haciendo posible que máquinas como las de Tesla Optimus o las desarrolladas por Agility Robotics operen con mayor autonomía y eficacia. La eficiencia en la inferencia se convierte así en un factor determinante para el avance de la robótica humanoide.
¿Cómo se diferencia la inferencia de IA del entrenamiento de IA?
Un LLM sin entrenar es como un conjunto desordenado de fichas de Scrabble. El entrenamiento organiza este caos mediante un juego de predicción a gran escala. El modelo intenta predecir el siguiente ‘token’ (fragmento de palabra) en una secuencia de texto. Tras cada intento, se compara la predicción con el token correcto, y la diferencia se usa para refinar los miles de millones o billones de parámetros del modelo. Este proceso se repite a lo largo de miles de millones de pasajes de texto.
El entrenamiento de un modelo es computacionalmente muy exigente. El modelo actualiza sus parámetros a través de la backpropagation, un método que recalcula cómo cada parámetro debe ajustarse para mejorar las predicciones futuras. Este es el motivo por el cual gigantes tecnológicos como Nvidia y Amazon están construyendo centros de datos cada vez más grandes.
Una vez que el creador del modelo considera que el coste del entrenamiento adicional no compensa los beneficios, el proceso se detiene. Los parámetros se congelan, y el LLM se convierte en un modelo preentrenado. Posteriormente, se puede realizar un «fine-tuning» (ajuste fino), un entrenamiento breve con datos más específicos, para dar los toques finales antes de su despliegue.
La importancia del ‘fine-tuning’
El ajuste fino es crucial para adaptar modelos genéricos a tareas o dominios específicos. Permite refinar el comportamiento del modelo sin incurrir en los costes prohibitivos del entrenamiento desde cero. Por ejemplo, un modelo generalista podría ser ajustado para comprender jerga médica o para generar respuestas en un estilo de escritura particular, como se ve en la evolución de sistemas de IA táctil para la manipulación robótica, donde la precisión y la adaptación al contexto son primordiales.
La inferencia, por otro lado, es el uso práctico del modelo desplegado. Es el momento en que el modelo, ya entrenado, es capaz de generar secuencias coherentes de tokens para responder a consultas, escribir código o crear imágenes. Aunque elimina la carga computacional de la backpropagation, la inferencia presenta sus propios desafíos, principalmente relacionados con la velocidad y la eficiencia en el acceso a los datos.
Desafíos de la inferencia: latencia y memoria
Los modelos de IA son «autorregresivos», lo que significa que la generación de cada nuevo token depende del token anterior y de todo el contexto previo. Para producir el siguiente token, el modelo debe acceder a todos los pesos y al historial de la conversación (prompts, respuestas, archivos cargados). Este proceso, conocido como atención (un componente clave de la arquitectura Transformer), requiere un acceso intensivo a la memoria, especialmente al denominado KV cache, que puede crecer hasta decenas de gigabytes.
La fase de «prefill» (relleno previo), donde el modelo procesa el prompt inicial, es altamente paralelizable y se beneficia de la arquitectura de las GPUs. Sin embargo, la fase de «decode» (decodificación), donde se genera la respuesta token a token, es secuencial y mucho más exigente en términos de latencia. Cada token generado requiere leer el modelo completo desde memoria, lo que puede suponer un cuello de botella significativo si el ancho de banda de la memoria no es suficiente. Investigaciones han mostrado que las GPUs Nvidia H100 pueden pasar entre el 50% y el 80% del tiempo inactivas esperando datos durante la inferencia de LLMs de código abierto.
El papel crucial de la memoria en la inferencia
Shahriar «Sha» Rabii, cofundador de Majestic Labs, subraya que el cuello de botella de la memoria es el principal obstáculo para la inferencia. El enfoque actual, basado en GPUs con memoria de alto ancho de banda (HBM) alrededor del procesador, resulta en un sobreaprovisionamiento de cómputo y una escasez de memoria para la inferencia. Esto está impulsando una «gran expansión de la memoria».
Empresas como d-Matrix y Majestic Labs proponen soluciones innovadoras. d-Matrix, con su acelerador Raptor, busca minimizar la distancia entre cómputo y memoria apilando el acelerador directamente sobre un chip DRAM. Esta arquitectura vertical permite un acceso a datos mucho más rápido.
La arquitectura de d-Matrix: Cómputo y Memoria en Vertical
En contraste, Majestic Labs se centra en mejorar la interfaz de memoria para permitir conexiones más largas, utilizando «commodity DRAM» (memoria estándar más económica que la HBM) y un chip agregador de memoria. Esta estrategia permite soportar hasta 128 terabytes de DRAM por rack, superando significativamente las capacidades de los sistemas actuales como el Nvidia GB300 NVL72, que cuenta con unos 20 TB de HBM3E.
Ambas compañías coinciden en el uso de DRAM estándar por su menor coste en comparación con HBM, que es entre dos y tres veces más cara. Sin embargo, fabricantes de HBM como Samsung y SK Hynix no se quedan atrás. La próxima generación, HBM4, promete duplicar el ancho de banda máximo de la memoria y aumentar la capacidad por stack, buscando romper los cuellos de botella actuales.
Combinando chips para una inferencia más rápida
Gigantes como Nvidia y Amazon están adoptando un enfoque «todo incluido». Sus GPUs y aceleradores de entrenamiento (como el Trainium de Amazon) son excelentes para la fase de prefill, pero para acelerar la decodificación, recurren a nuevas arquitecturas centradas en memoria. Nvidia, tras adquirir Groq, lanzó la Unidad de Procesamiento de Lenguaje (LPU) Nvidia Groq 3. Esta unidad integra SRAM (memoria estática de acceso aleatorio) directamente en el chip, ofreciendo un ancho de banda de memoria significativamente mayor que las GPUs convencionales, a pesar de tener menos potencia de cómputo bruta.
El enfoque dual de Nvidia: GPU para contexto, LPU para cálculo
La estrategia de Nvidia consiste en utilizar sus GPUs Vera Rubin para el procesamiento de contexto y la atención, y las LPUs Groq 3 para los cálculos intensivos, como las multiplicaciones de matrices. El sistema Groq 3 LPX, un rack de centro de datos, integra 256 LPUs.
Por su parte, Amazon Web Services (AWS) se ha asociado con Cerebras para combinar sus chips Trainium con el Wafer-Scale Engine 3 (WSE-3) de Cerebras. Este último convierte una oblea de silicio entera en un único chip con 4 billones de transistores y 44 GB de SRAM integrada, capaz de almacenar los pesos del modelo. AWS empleará Trainium para prefill y Cerebras para decode. El WSE-3, utilizado por OpenAI para potenciar GPT-5.3-Codex-Spark, ha demostrado capacidades excepcionales, superando los 1.000 tokens por segundo, una cifra muy superior a la de las implementaciones estándar de GPT.
Estrategia de inferencia de dos chips de AWS
Cerebras también puede encargarse de la fase de prefill interconectando múltiples WSE-3. Han logrado configurar sistemas con hasta 500 mil millones de parámetros. Esta convergencia en estrategias, donde Nvidia y AWS apuestan por sistemas que combinan distintos tipos de chips para abordar los LLMs más grandes, sugiere que el futuro de la inferencia de IA se resolverá mediante un enfoque de sistemas heterogéneos. Como afirma Ian Buck de Nvidia: «Para hacer inferencia de IA moderna, necesitas todos los chips». La eficiencia en tareas específicas, como la manipulación robótica fina, podría beneficiarse enormemente de estos avances, permitiendo a robots como los de Agilink con su OmniHand 3, realizar tareas más complejas con mayor precisión y velocidad.
Aprendiendo a hacer más con menos (bits)
Más allá de la optimización del hardware, los investigadores de IA están explorando cómo optimizar el software y el hardware de forma conjunta para maximizar el uso de la memoria y la capacidad de cómputo. Tradicionalmente, los números se almacenan en formatos de 32 o 64 bits. Mayor precisión numérica mejora la calidad de los LLMs, pero a costa de un mayor consumo de memoria y cómputo.
La cuantización, el proceso de convertir un LLM de un formato numérico de alta precisión a uno de menor precisión, es clave. Empresas como Tensordyne están desarrollando aceleradores que utilizan formatos numéricos logarítmicos y hardware a medida para reducir drásticamente el consumo energético y mejorar el rendimiento. Tensordyne afirma que su sistema Napier puede generar hasta 1.300 tokens por segundo por usuario, consumiendo menos de una décima parte de la energía que el hardware de Nvidia comparable.
Otras startups como Etched están diseñando ASICs (circuitos integrados de aplicación específica) que traducen la arquitectura Transformer directamente a silicio. Su acelerador Sohu puede ejecutar el modelo Llama 70B de Meta a 500.000 tokens por segundo, aunque su especialización limita su aplicabilidad a otros tipos de arquitecturas de LLM. Estos enfoques, aunque aún en fases tempranas, demuestran cómo la creciente demanda de rendimiento en inferencia está impulsando la innovación radical en el diseño de hardware.
La competencia por la eficiencia también se manifiesta en la elección de formatos de precisión. Nvidia ha introducido NVFP4, mientras que AMD, Intel y Qualcomm apuestan por MXFP4. La reducción de la precisión, como en el caso de Nvidia al pasar DeepSeek-R1 de FP8 a NVFP4, ha demostrado degradaciones mínimas en las métricas de calidad (menos del 1%) a la vez que triplica el rendimiento. La investigación en cuantización y nuevos formatos numéricos es fundamental para hacer que la IA sea más accesible y eficiente, un factor clave para su adopción en áreas como la asistencia robótica avanzada y la automatización de almacenes, tal como se observa en los avances reportados por robots de almacén y cirugía.
La inferencia: un campo de juego para todos
La diversidad de enfoques para la aceleración de la inferencia de IA —desde arquitecturas apiladas y extensiones de memoria hasta obleas de silicio y cuantización agresiva— plantea la pregunta de qué estrategia prevalecerá. Sin embargo, los expertos sugieren que la pregunta correcta no es cuál «ganará», sino cómo todas estas innovaciones convergerán.
La demanda de IA es insaciable y, a pesar de las preocupaciones sobre una posible «burbuja» tecnológica, el crecimiento no muestra signos de desaceleración. La inferencia, en particular, podría impulsar una demanda sostenida de hardware de IA a largo plazo. La proliferación de «agentes» de IA que operan 24/7, como anticipa Kimball, requerirá soluciones de cómputo cada vez más potentes y eficientes.
La evolución de la inferencia de IA probablemente seguirá una trayectoria similar a la de las CPUs: una mejora continua y multifacética, impulsada por innovaciones en arquitectura de chips y sistemas. La historia de la computación personal está llena de ejemplos de cómo múltiples avances convergieron para crear la tecnología ubicua que conocemos hoy. Se espera que la historia de la innovación en inferencia de IA, a lo largo de las próximas décadas, muestre una profundidad comparable, abarcando desde el hardware hasta la optimización del software, y con un impacto profundo en la robótica y la inteligencia artificial en general.
By
