Hardware

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está a punto de lanzar NVIDIA DGX Spark - pequeño superordenador de IA basado en la arquitectura Blackwell con 128+GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Dispositivo interesante para ejecutar LLMs.

Comparemos precios de las mejores tarjetas gráficas de consumo de primer nivel, que son adecuadas para LLMs en particular y para la IA en general.
Específicamente, echa un vistazo a
precios de RTX 5080 y RTX 5090. Han disminuido ligeramente.

Hace solo 3 meses no veíamos la RTX 5090 en tiendas, y ahora aquí están, pero los precios son ligeramente más altos que el MRSP. Comparemos los precios más baratos para RTX 5080 y RTX 5090 en Australia y veamos cómo va.

Sistema automatizado de alto rendimiento para algún trabajo increíble.

Cómo afectan los canales PCIe al rendimiento de los LLM? Dependiendo de la tarea. Para el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.

Fui golpeado con fuerza por este problema. Pero debes investigar y probar tu PC si tu BSOD es como el mío.
La causa fue el problema de degradación del CPU de Intel en las generaciones 13ª y 14ª.

Tengo una teoría para probar: ¿si utilizamos todos los núcleos en una CPU de Intel aumentaría la velocidad de los LLMs? Me molesta que el nuevo modelo gemma3 de 27 bits (gemma3:27b, 17 GB en ollama) no se ajuste a los 16 GB de VRAM de mi GPU, y se ejecute parcialmente en la CPU.

En medio del caos del mundo moderno aquí estoy comparando especificaciones técnicas de diferentes tarjetas adecuadas para tareas de IA
(Deep Learning,
Deteción de objetos
y LLMs).
Aunque todas son increíblemente caras.

Cuando el servidor Ollama recibe dos solicitudes al mismo tiempo, su comportamiento depende de su configuración y de los recursos del sistema disponibles.

La instalación del ET-8500 en Windows está bien documentada en las instrucciones. La instalación del controlador Linux para ET-8500 es sencilla pero no trivial.

Comparando la velocidad de predicción de varias versiones de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) en CPU y GPU.