Hardware

Vamos comparar os preços das GPUs de consumo de topo, que são adequadas, em particular, para LLMs e, em geral, para IA. Especificamente, estou analisando os preços das RTX-5080 e RTX-5090.

A democratização da IA chegou. Com LLMs de código aberto como Llama, Mistral e Qwen rivalizando agora com modelos proprietários, as equipes podem construir uma poderosa infraestrutura de IA usando hardware de consumo - reduzindo drasticamente os custos enquanto mantêm controle total sobre a privacidade dos dados e a implantação.

Docker Model Runner é a ferramenta oficial da Docker para executar modelos de IA localmente, mas habilitar a aceleração de GPU da NVidia no Docker Model Runner requer configuração específica.

Descobri alguns testes de desempenho interessantes do GPT-OSS 120b rodando no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama pesa 65 GB, o que significa que ele não cabe na VRAM de 16 GB de uma RTX 4080 (ou na mais recente RTX 5080).

Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Esta lista de comandos essenciais fornece uma referência rápida para todos os comandos, configurações e melhores práticas.

No cenário atual de computação, a virtualização tornou-se essencial para desenvolvimento, testes e execução de múltiplos sistemas operacionais. Para os usuários de Linux que buscam uma maneira simples e intuitiva de gerenciar máquinas virtuais, o GNOME Boxes destaca-se como uma opção leve e amigável, que prioriza a facilidade de uso sem sacrificar a funcionalidade.

O futuro da IA não se trata apenas de modelos mais inteligentes. Trata-se também de silício que corresponda à maneira como esses modelos são realmente servidos. O hardware especializado para inferência de LLM segue um caminho reminiscente da transição do mineração de Bitcoin de GPUs para ASICs de propósito específico, mas com restrições mais difíceis, pois os modelos e as receitas de precisão continuam a evoluir.

NVIDIA DGX Spark é real, à venda a partir de 15 de outubro de 2025, e voltado para desenvolvedores de CUDA que necessitam de trabalho local com LLMs, com uma pilha de IA da NVIDIA integrada. O MSRP nos EUA é de $3.999; o varejo no Reino Unido/Alemança/Japão é mais alto devido ao IVA e aos canais de distribuição. Os preços públicos de etiqueta em AUD/KRW ainda não foram amplamente divulgados.

Vamos comparar os preços das GPUs de consumo de topo, adequadas em particular para LLMs e para IA em geral. Especificamente, estou a olhar para Preços da RTX-5080 e RTX-5090. Eles caíram ligeiramente.

Aplicações de monitoramento de carga da GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

A Nvidia está prestes a lançar o NVIDIA DGX Spark - um pequeno supercomputador de IA baseado na arquitetura Blackwell, com mais de 128 GB de RAM unificada e desempenho de IA de 1 PFLOPS. Um ótimo dispositivo para executar LLMs.

Vamos comparar os preços das principais GPUs de consumo, adequadas em particular para LLMs e para IA em geral. Especificamente, observe os preços da RTX 5080 e RTX 5090. Eles caíram ligeiramente.

Há apenas 3 meses, não víamos a RTX 5090 nas lojas, e agora elas estão aqui, mas os preços são ligeiramente superiores ao MRSP. Vamos comparar os preços mais baixos para RTX 5080 e RTX 5090 na Austrália e ver como está a situação.

Top sistema automatizado para um trabalho incrível.

Como as Pistas PCIe Afetam o Desempenho de LLM? Depende da tarefa. Para treinamento e inferência multi-GPU, a queda de desempenho é significativa.

Fui duramente afetado por este problema. Mas você deve investigar e testar seu PC se o seu BSOD for igual ao meu. A causa foi o Problema de Degradação de CPU da Intel nas 13ª e 14ª Gerações.