Hardware

Docker Model Runner es la herramienta oficial de Docker para ejecutar modelos de IA localmente, pero habilitar la aceleración de GPU de NVidia en Docker Model Runner requiere una configuración específica.

Investigué algunos interesantes tests de rendimiento del modelo GPT-OSS 120b ejecutándose en Ollama en tres plataformas diferentes: NVIDIA DGX Spark, Mac Studio y RTX 4080. El modelo GPT-OSS 120b del repositorio Ollama tiene un tamaño de 65 GB, lo que significa que no cabe en los 16 GB de VRAM de una RTX 4080 (ni en la más reciente RTX 5080).

Docker Model Runner (DMR) es la solución oficial de Docker para ejecutar modelos de IA localmente, introducida en abril de 2025. Esta guía rápida proporciona una referencia rápida para todos los comandos esenciales, configuraciones y mejores prácticas.

En el panorama actual de la computación, la virtualización se ha convertido en esencial para el desarrollo, las pruebas y la ejecución de múltiples sistemas operativos. Para usuarios de Linux que buscan una forma sencilla e intuitiva de gestionar máquinas virtuales, GNOME Boxes destaca como una opción liviana y amigable con el usuario que prioriza la facilidad de uso sin sacrificar la funcionalidad.

El futuro de IA no es solo sobre modelos más inteligentes modelos — es sobre silicio más inteligente.
El hardware especializado para inferencia de LLM está impulsando una revolución similar a la transición del minado de Bitcoin hacia los ASICs.

NVIDIA DGX Spark es real, disponible para la venta el 15 de octubre de 2025, y está dirigido a desarrolladores de CUDA que necesitan realizar trabajo local con LLM con una pila de IA integrada de NVIDIA. Precio de venta al por mayor en EE. UU. $3,999; el precio de venta al por menor en Reino Unido/DE/JP es más alto debido al IVA y al canal. Los precios públicos en AUD/KRW aún no están ampliamente publicados.

Proxmox Virtual Environment (Proxmox VE) es un hipervisor de tipo 1 y una plataforma de orquestación de centro de datos de código abierto construida sobre Debian.

Una y otra vez, comparemos precios para las tarjetas gráficas de consumo de primer nivel, que son adecuadas en particular para LLMs y en general para la IA.

Específicamente estoy mirando precios de RTX-5080 y RTX-5090. Han disminuido ligeramente.

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está a punto de lanzar NVIDIA DGX Spark - pequeño superordenador de IA basado en la arquitectura Blackwell con 128+GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Dispositivo interesante para ejecutar LLMs.

Comparemos precios de las mejores tarjetas gráficas de consumo para usuarios finales, que son adecuadas para LLMs en particular y para la inteligencia artificial en general.
Específicamente, echa un vistazo a
precios de RTX 5080 y RTX 5090. Han disminuido ligeramente.

Hace solo 3 meses no veíamos la RTX 5090 en tiendas, y ahora aquí están, pero los precios son ligeramente más altos que el MRSP. Comparemos los precios más baratos para RTX 5080 y RTX 5090 en Australia y veamos cómo va.

Sistema automatizado de alto rendimiento para algún trabajo increíble.

Cómo afectan los canales PCIe al rendimiento de los LLM? Dependiendo de la tarea. Para el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.

Fui golpeado con fuerza por este problema. Pero debes investigar y probar tu PC si tu BSOD es como el mío.
La causa fue el problema de degradación del CPU de Intel en las generaciones 13ª y 14ª.