El auge de los ASIC para LLM: ¿Por qué el hardware de inferencia importa

El futuro de IA no solo se trata de modelos más inteligentes modelos — se trata de silicio más inteligente.
El hardware especializado para inferencia de LLM está impulsando una revolución similar a la que experimentó la minería de Bitcoin al pasar a ASICs.

Para obtener más información sobre throughput, latencia, VRAM y benchmarks en diferentes entornos de ejecución y hardware, vea Rendimiento de LLM: Benchmarks, Cuellos de Botella y Optimización.

Imaginación eléctrica - Flux: texto a imagen LLM.

¿Por qué los LLM necesitan su propio hardware

Los modelos de lenguaje grandes han transformado la IA, pero detrás de cada respuesta fluida hay un gran tráfico de cálculos y memoria. A medida que los costos de inferencia se vuelven dominantes — a menudo superando los costos de entrenamiento a lo largo de la vida útil de un modelo — el hardware optimizado específicamente para la inferencia tiene sentido económico.

La analogía con la minería de Bitcoin no es accidental. En ambos casos, una carga de trabajo muy específica y repetitiva se beneficia enormemente del silicio personalizado que elimina todo lo no esencial.

Lecciones de la minería de Bitcoin

La minería de Bitcoin evolucionó a través de cuatro generaciones:

Era	Hardware	Beneficio clave	Limitación
2015–2020	GPUs (CUDA, ROCm)	Flexibilidad	Consumo de energía elevado, limitado por la memoria
2021–2023	TPUs, NPUs	Especialización a gran escala	Aún orientado al entrenamiento
2024–2025	ASICs de Transformer	Ajustados para inferencia a baja precisión	Limitada generalidad

La IA sigue un camino similar. Cada transición mejoró rendimiento y eficiencia energética en órdenes de magnitud.

Sin embargo, a diferencia de los ASICs de Bitcoin (que solo calculan SHA-256), los ASICs de inferencia necesitan cierta flexibilidad. Los modelos evolucionan, las arquitecturas cambian y las esquemas de precisión mejoran. La clave es especializar justo lo suficiente — codificar los patrones centrales mientras se mantiene la adaptabilidad en los bordes.

¿En qué se diferencia la inferencia de LLM del entrenamiento?

Las cargas de trabajo de inferencia tienen características únicas que el hardware especializado puede aprovechar:

• La precisión baja domina — los cálculos en 8 bits, 4 bits, incluso ternarios o binarios funcionan bien para la inferencia
• La memoria es el cuello de botella — mover pesos y cachés KV consume mucha más energía que el cálculo
• La latencia importa más que el throughput — los usuarios esperan tokens en menos de 200 ms
• Gran paralelismo de solicitudes — miles de solicitudes de inferencia concurrentes por chip
• Patrones predecibles — las capas Transformer están altamente estructuradas y pueden codificarse
• Oportunidades de sparsity — los modelos cada vez usan más poda y técnicas de MoE (Mixture-of-Experts)

Un chip diseñado específicamente para la inferencia puede codificar estas suposiciones para lograr un rendimiento mejor 10–50 veces por watt que los GPUs de propósito general.

¿Quién está construyendo hardware optimizado para LLM

El mercado de ASICs para inferencia de LLM se está calentando con jugadores establecidos y startups ambiciosas:

Empresa	Chip / Plataforma	Especialidad
Groq	LPU (Unidad de Procesamiento de Lenguaje)	Throughput determinístico para LLMs
Etched AI	Sohu ASIC	Motor Transformer codificado
Tenstorrent	Grayskull / Blackhole	ML general con malla de alto ancho de banda
OpenAI × Broadcom	Chip de Inferencia Personalizado	Rumorada salida en 2026
Intel	Crescent Island	GPU Xe3P de solo inferencia con 160 GB HBM
Cerebras	Wafer-Scale Engine (WSE-3)	Gran ancho de banda en memoria en el chip

Estos no son vaporware — se despliegan en centros de datos hoy en día. Además, startups como d-Matrix, Rain AI, Mythic y Tenet están diseñando chips desde cero alrededor de patrones aritméticos Transformer.

Arquitectura de un ASIC para inferencia de Transformer

¿Qué aspecto tiene realmente un chip optimizado para Transformer bajo el capó?

+--------------------------------------+
|         Interfaz del Host               |
|   (PCIe / CXL / NVLink / Ethernet)   |
+--------------------------------------+
|  Interconexión en chip (malla/anillo)    |
+--------------------------------------+
|  Tiles / núcleos de cálculo               |
|   — Unidades de multiplicación matricial densa      |
|   — ALUs de baja precisión (int8/int4)   |
|   — Unidades de descuantificación / activación       |
+--------------------------------------+
|  SRAM en chip y buffers de caché KV     |
|   — Pesos calientes, cachés fusionados        |
+--------------------------------------+
|  Pipelines de cuantización / descuantización    |
+--------------------------------------+
|  Programador / controlador              |
|   — Motor de ejecución de gráficos estáticos    |
+--------------------------------------+
|  Interfaz de DRAM / HBM fuera del chip       |
+--------------------------------------+

Características arquitectónicas clave incluyen:

• Núcleos de cálculo — Unidades de multiplicación matricial densa optimizadas para operaciones en int8, int4 y ternarias
• SRAM en chip — Grandes búferes almacenan pesos calientes y cachés KV, minimizando accesos costosos a DRAM
• Interconexiones de streaming — Topología de malla permite una escalabilidad eficiente entre múltiples chips
• Motores de cuantización — Cuantización/descuantización en tiempo real entre capas
• Pila de compiladores — Convierte gráficos de PyTorch/ONNX directamente en microoperaciones específicas del chip
• Núcleos de atención codificados — Elimina la sobrecarga de flujo de control para operaciones como softmax

La filosofía del diseño se asemeja a los ASICs de Bitcoin: cada transistor sirve específicamente la carga de trabajo. No se desperdicia silicio en características que la inferencia no necesita.

Benchmarks reales: GPUs vs. ASICs para inferencia

Aquí está cómo se compara el hardware especializado de inferencia con las GPUs de vanguardia:

Modelo	Hardware	Throughput (tokens/s)	Tiempo al primer token	Multiplicador de rendimiento
Llama-2-70B	NVIDIA H100 (8x DGX)	~80–100	~1.7s	Base (1×)
Llama-2-70B	Groq LPU	241–300	0.22s	3–18× más rápido
Llama-3.3-70B	Groq LPU	~276	~0.2s	Consistente 3×
Gemma-7B	Groq LPU	814	<0.1s	5–15× más rápido

Fuentes: Groq.com, ArtificialAnalysis.ai, NVIDIA Developer Blog

Estos números ilustran no mejoras incrementales, sino ganancias de órdenes de magnitud tanto en throughput como en latencia.

Los intercambios críticos

La especialización es poderosa pero tiene desafíos:

1. Flexibilidad vs. Eficiencia. Un ASIC completamente fijo grita a través de los modelos Transformer actuales pero podría tener dificultades con las arquitecturas del futuro. ¿Qué pasa cuando los mecanismos de atención evolucionan o surgen nuevas familias de modelos?

2. Cuantización y precisión. La baja precisión ahorra una gran cantidad de energía, pero manejar la degradación de precisión requiere esquemas de cuantización sofisticados. No todos los modelos se cuantizan con facilidad a 4 bits o menos.

3. Ecosistema de software. El hardware sin compiladores, núcleos y marcos robustos es inútil. NVIDIA aún domina en gran parte debido al ecosistema maduro de CUDA. Los nuevos fabricantes de chips deben invertir pesado en software.

4. Costo y riesgo. Sacar un chip cuesta millones de dólares y toma 12–24 meses. Para startups, esto es una apuesta enorme sobre suposiciones arquitectónicas que pueden no sostenerse.

Sin embargo, a escala hiperscale, incluso mejoras de 2× en eficiencia se traducen en billones de ahorros. Para proveedores de nube que procesan millones de solicitudes de inferencia por segundo, el silicio personalizado se vuelve cada vez más no negociable.

¿Cómo debería verse un chip ideal para inferencia de LLM

Característica	Especificación ideal
Proceso	Nodo de 3–5 nm
SRAM en chip	100MB+ acoplado estrechamente
Precisión	Soporte nativo para int8 / int4 / ternario
Throughput	500+ tokens/sec (modelo de 70B)
Latencia	<100ms tiempo al primer token
Interconexión	Enlaces de baja latencia o ópticos
Compilador	Herramienta de conversión PyTorch/ONNX → microcódigo
Energía	<0.3 julios por token

El futuro: 2026–2030 y más allá

Espera que el paisaje del hardware de inferencia se estratifique en tres niveles:

1. Chips de entrenamiento. Las GPUs de alta gama como NVIDIA B200 y AMD Instinct MI400 continuarán dominando el entrenamiento con su flexibilidad en FP16/FP8 y su gran ancho de banda de memoria.

2. ASICs de inferencia. Aceleradores de Transformer codificados para producción manejarán el servicio a gran escala, optimizados para costo y eficiencia.

3. NPUs de borde. Chips pequeños y ultraeficientes traerán modelos LLM cuantizados a teléfonos móviles, vehículos, dispositivos IoT y robots, permitiendo inteligencia en el dispositivo sin depender de la nube.

Más allá del hardware solo, veremos:

• Clústeres híbridos — GPUs para entrenamiento flexible, ASICs para servicio eficiente
• Inferencia como servicio — Proveedores principales de nube desplegando chips personalizados (como AWS Inferentia, Google TPU)
• Co-diseño hardware-software — Modelos diseñados explícitamente para ser amigables con el hardware mediante sparsity, conciencia de cuantización y atención por bloques
• Estándares abiertos — APIs estandarizadas de inferencia para evitar el encarcelamiento del proveedor

Reflexiones finales

La “ASIC-ización” de la inferencia de IA ya está en marcha. Al igual que la minería de Bitcoin evolucionó desde CPUs a silicio especializado, el despliegue de IA sigue el mismo camino.

La próxima revolución en IA no se trata de modelos más grandes — se trata de mejores chips. El hardware optimizado para los patrones específicos de inferencia de Transformer determinará quién podrá desplegar IA económicamente a gran escala.

Al igual que los mineros de Bitcoin optimizaron cada watt desperdiciado, el hardware de inferencia exprimirá cada último FLOP por joule. Cuando eso suceda, el verdadero avance no estará en los algoritmos — estarán en el silicio que los ejecuta.

El futuro de la IA se está grabando en silicio, transistor por transistor.

Para más benchmarks, opciones de hardware y ajuste de rendimiento, revise nuestro Rendimiento de LLM: Benchmarks, Cuellos de Botella y Optimización.

Enlaces útiles

• Benchmarks of Groq
• Artificial Analysis - LLM Performance Leaderboard
• NVIDIA H100 Technical Brief
• Etched AI - Transformer ASIC Announcement
• Cerebras Wafer-Scale Engine
• Precios de NVidia RTX 5080 y RTX 5090 en Australia - Octubre 2025
• Rendimiento de LLM y canales PCIe: Consideraciones clave
• Prueba de velocidad de modelos de lenguaje grandes
• Comparación de especificaciones de GPU NVidia para IA
• ¿La Quadro RTX 5880 Ada 48GB es buena?