Hardware

Auto-hospedagem de LLMs mantém os dados, modelos e inferência sob seu controle - um caminho prático para soberania em IA para equipes, empresas e nações.
Aqui: o que é a soberania em IA, quais aspectos e métodos são usados para construí-la, como a auto-hospedagem de LLMs se encaixa, e como países estão abordando o desafio.

Executar modelos de linguagem grandes localmente oferece privacidade, capacidade offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 9 populares LLMs no Ollama no RTX 4080.

Hoje estamos analisando as GPUs de alto desempenho para consumidores e módulos de RAM.
Especificamente, estou olhando para
preços da RTX-5080 e RTX-5090, e 32GB (2x16GB) DDR5 6000.

O
NVIDIA DGX Spark
(GB10 Grace Blackwell) está
agora disponível na Austrália
em grandes varejistas de PCs com estoque local.
Se você tem acompanhado o
preço e disponibilidade globais do DGX Spark,
você ficará interessado em saber que os preços na Austrália variam de $6.249 a $7.999 AUD, dependendo da configuração de armazenamento e do varejista.

Após instalar automaticamente um novo kernel, Ubuntu 24.04 perdeu a rede Ethernet. Este problema frustrante aconteceu comigo pela segunda vez, então estou documentando a solução aqui para ajudar outros que enfrentam o mesmo problema.

Com essa volatilidade louca dos preços da RAM, para formar e ter uma melhor ideia, vamos rastrear o preço da RAM na Austrália primeiro nós mesmos.

O mercado de memória está experimentando uma volatilidade de preços sem precedentes no final de 2025, com preços da RAM disparando dramaticamente em todos os segmentos.

Vamos comparar os preços das principais GPUs de consumo para o topo, que são adequadas para LLMs em particular e para a IA em geral.
Especificamente, estou olhando para
preços do RTX-5080 e RTX-5090.

A democratização da IA está aqui. Com LLMs de código aberto como Llama 3, Mixtral e Qwen agora rivalizando com modelos proprietários, as equipes podem construir infraestrutura poderosa de IA usando hardware de consumo - reduzindo custos enquanto mantêm o controle completo sobre a privacidade dos dados e o deployment.

Docker Model Runner é a ferramenta oficial do Docker para executar modelos de IA localmente, mas habilitar a aceleração da GPU da NVidia no Docker Model Runner requer uma configuração específica.

Fui atrás de alguns testes de desempenho interessantes do GPT-OSS 120b em execução no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama tem 65GB, o que significa que ele não cabe na VRAM de 16GB de um RTX 4080 (ou no mais novo RTX 5080).

Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Este guia rápido fornece uma referência rápida para todos os comandos essenciais, configurações e melhores práticas.

No cenário atual da computação, a virtualização tornou-se essencial para desenvolvimento, testes e execução de múltiplos sistemas operacionais. Para usuários de Linux que buscam uma forma simples e intuitiva de gerenciar máquinas virtuais, GNOME Boxes destaca-se como uma opção leve e amigável ao usuário que prioriza a facilidade de uso sem sacrificar a funcionalidade.

O futuro do IA não é apenas sobre modelos mais inteligentes modelos — é sobre silício mais inteligente.
Hardware especializado para inferência de LLM está impulsionando uma revolução semelhante à mudança do mineração de Bitcoin para ASICs.

NVIDIA DGX Spark é real, disponível para venda a partir de 15 de outubro de 2025, e direcionado a desenvolvedores de CUDA que precisam de trabalho local com LLM com uma pilha integrada de IA da NVIDIA. Preço de venda sugerido nos EUA $3.999; o preço retalhista em UK/DE/JP é mais alto devido ao imposto sobre o valor agregado e ao canal. Preços públicos em AUD/KRW ainda não estão amplamente divulgados.

Proxmox Virtual Environment (Proxmox VE) é um hipervisor de tipo 1 e uma plataforma de orquestração de datacenter de código aberto construída sobre o Debian.