Hardware

A hub for compute hardware analysis covering GPUs, CPUs, memory trends, and AI-focused workstation infrastructure.

Autogestión de LLMs mantiene los datos, modelos e inferencia bajo su control: un camino práctico hacia la soberanía en IA para equipos, empresas y naciones. Aquí: qué es la soberanía en IA, qué aspectos y métodos se utilizan para construirla, cómo la autogestión de LLMs encaja en ello, cómo los países abordan el desafío.

Ejecutar modelos de lenguaje grandes localmente te brinda privacidad, capacidad para trabajar sin conexión y cero costos de API. Este benchmark revela exactamente lo que se puede esperar de 9 populares LLMs en Ollama en una RTX 4080.

Hoy nos estamos enfocando en las GPUs de consumo de alto nivel y módulos de RAM. Específicamente, me estoy enfocando en precios de RTX-5080 y RTX-5090, y 32GB (2x16GB) DDR5 6000.

Uno de los herramientas más esenciales para los usuarios de Linux es el emulador de terminal.

El
NVIDIA DGX Spark
(GB10 Grace Blackwell) ahora está
disponible en Australia
en principales retailers de PC con stock local.
Si has estado siguiendo la
disponibilidad y precios globales del DGX Spark,
te interesará saber que los precios en Australia van desde $6,249 a $7,999 AUD según la configuración de almacenamiento y el retailer.

Cognee es un marco de Python para construir grafos de conocimiento a partir de documentos utilizando LLMs. ¿Pero funciona con modelos autohospedados?

Después de instalar automáticamente un nuevo núcleo, Ubuntu 24.04 ha perdido la conexión de red ethernet. Este problema frustrante ocurrió de nuevo para mí, así que estoy documentando la solución aquí para ayudar a otros que enfrenten el mismo problema.

Con esta volatilidad loca de los precios de la RAM, para formar y tener una mejor imagen, primero vamos a rastrear el precio de la RAM en Australia nosotros mismos.

El mercado de la memoria está experimentando una volatilidad de precios sin precedentes a finales de 2025, con los precios de la RAM aumentando drásticamente en todos los segmentos.

Vamos a comparar precios para tarjetas gráficas de alto nivel para consumidores, que son adecuadas para LLMs en particular y la IA en general.
Específicamente, me estoy enfocando en
precios de RTX-5080 y RTX-5090.

La democratización de la IA está aquí. Con LLMs de código abierto como Llama 3, Mixtral y Qwen ahora rivales de modelos propietarios, los equipos pueden construir una poderosa infraestructura de IA usando hardware de consumo - reduciendo costos mientras se mantiene el control total sobre la privacidad de los datos y la implementación.

Docker Model Runner es la herramienta oficial de Docker para ejecutar modelos de IA localmente, pero habilitar la aceleración de GPU de NVidia en Docker Model Runner requiere una configuración específica.

Investigué algunos interesantes tests de rendimiento del modelo GPT-OSS 120b ejecutándose en Ollama en tres plataformas diferentes: NVIDIA DGX Spark, Mac Studio y RTX 4080. El modelo GPT-OSS 120b del repositorio Ollama tiene un tamaño de 65 GB, lo que significa que no cabe en los 16 GB de VRAM de una RTX 4080 (ni en la más reciente RTX 5080).

Docker Model Runner (DMR) es la solución oficial de Docker para ejecutar modelos de IA localmente, introducida en abril de 2025. Esta guía rápida proporciona una referencia rápida para todos los comandos esenciales, configuraciones y mejores prácticas.

En el panorama actual de la computación, la virtualización se ha convertido en esencial para el desarrollo, las pruebas y la ejecución de múltiples sistemas operativos. Para usuarios de Linux que buscan una forma sencilla e intuitiva de gestionar máquinas virtuales, GNOME Boxes destaca como una opción liviana y amigable con el usuario que prioriza la facilidad de uso sin sacrificar la funcionalidad.