Hardware

Docker Model Runner é a ferramenta oficial do Docker para executar modelos de IA localmente, mas habilitar a aceleração da GPU da NVidia no Docker Model Runner requer uma configuração específica.

Fui atrás de alguns testes de desempenho interessantes do GPT-OSS 120b em execução no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama tem 65GB, o que significa que ele não cabe na VRAM de 16GB de um RTX 4080 (ou no mais novo RTX 5080).

Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Este guia rápido fornece uma referência rápida para todos os comandos essenciais, configurações e melhores práticas.

No cenário atual da computação, a virtualização tornou-se essencial para desenvolvimento, testes e execução de múltiplos sistemas operacionais. Para usuários de Linux que buscam uma forma simples e intuitiva de gerenciar máquinas virtuais, GNOME Boxes destaca-se como uma opção leve e amigável ao usuário que prioriza a facilidade de uso sem sacrificar a funcionalidade.

O futuro do IA não é apenas sobre modelos mais inteligentes modelos — é sobre silício mais inteligente.
Hardware especializado para inferência de LLM está impulsionando uma revolução semelhante à mudança do mineração de Bitcoin para ASICs.

NVIDIA DGX Spark é real, disponível para venda a partir de 15 de outubro de 2025, e direcionado a desenvolvedores de CUDA que precisam de trabalho local com LLM com uma pilha integrada de IA da NVIDIA. Preço de venda sugerido nos EUA $3.999; o preço retalhista em UK/DE/JP é mais alto devido ao imposto sobre o valor agregado e ao canal. Preços públicos em AUD/KRW ainda não estão amplamente divulgados.

Proxmox Virtual Environment (Proxmox VE) é um hipervisor de tipo 1 e uma plataforma de orquestração de datacenter de código aberto construída sobre o Debian.

Mais uma vez, vamos comparar os preços das GPUs de alto desempenho para consumidores, que são adequadas, em particular, para LLMs e, em geral, para IA.

Especificamente, estou olhando para preços do RTX-5080 e RTX-5090. Eles tiveram uma leve redução.

Aplicações de monitoramento de carga da GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está prestes a lançar NVIDIA DGX Spark - pequeno supercomputador de IA baseado na arquitetura Blackwell com 128+GB de memória unificada e 1 PFLOPS de desempenho de IA. Dispositivo interessante para executar LLMs.

Vamos comparar preços para GPUs de topo de linha para consumidores, que são adequadas para LLMs em particular e para IA em geral. Especificamente, dê uma olhada em preços da RTX 5080 e RTX 5090. Eles tiveram uma leve queda.

Apenas 3 meses atrás, não víamos a RTX 5090 nas lojas, e agora aqui estão, mas os preços estão ligeiramente mais altos que o MRSP.
Vamos comparar os preços mais baixos para RTX 5080 e RTX 5090 na Austrália e ver como está a situação.

Top sistema automatizado para alguma tarefa incrível.

Como os canais PCIe afetam o desempenho dos LLM? Dependendo da tarefa. Para treinamento e inferência com múltiplos GPUs - a queda de desempenho é significativa.

Fui muito impactado por esse problema. Mas você deve investigar e testar seu PC se seu BSOD for igual ao meu.
A causa foi o problema de degradação do CPU da Intel nas gerações 13ª e 14ª.

Tenho uma teoria para testar – se utilizar todos os núcleos de um processador Intel aumentaria a velocidade dos LLMs? Estou incomodado com o fato de que o novo modelo gemma3 27 bit (gemma3:27b, 17GB no ollama) não está cabendo na VRAM de 16GB da minha GPU, e está sendo executado parcialmente no CPU.