Velocidade de tokens do llama.cpp com 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs executados em uma GPU com 16 GB de VRAM, escolhendo o melhor para auto-hospedagem.
A RTX 5090 está escassa e com preço inflado na Austrália.
A Austrália tem estoque de RTX 5090. Quase nada. E se você encontrar uma, pagará um prêmio que parece descolado da realidade.
Servidor Ollama com prioridade na composição, suporte a GPU e persistência.
Ollama funciona muito bem em metal nu. Torna-se ainda mais interessante quando tratado como um serviço: um endpoint estável, versões fixas, armazenamento persistente e uma GPU que está disponível ou não.
Teste de velocidade de LLM no RTX 4080 com 16 GB de VRAM
Executar grandes modelos de linguagem (LLMs) localmente oferece privacidade, capacidade offline e zero custo de API. Este teste revela exatamente o que se pode esperar de 14 LLMs populares LLMs no Ollama em uma RTX 4080.
Escolha o terminal ideal para o seu fluxo de trabalho com Linux
Uma das ferramentas mais essenciais para usuários de Linux é o emulador de terminal.
Preços reais em AUD de varejistas australianos agora
O NVIDIA DGX Spark (GB10 Grace Blackwell) está agora disponível na Austrália nas principais lojas de computadores, com estoque local. Se você tem acompanhado os preços e disponibilidade globais do DGX Spark, terá interesse em saber que os preços na Austrália variam de A$ 6.249 a A$ 7.999, dependendo da configuração de armazenamento e do varejista.
Preços de GPUs de Consumo Adequadas para IA - RTX 5080 e RTX 5090
Vamos comparar os preços das GPUs de consumo de topo, que são adequadas, em particular, para LLMs e, em geral, para IA. Especificamente, estou analisando os preços das RTX-5080 e RTX-5090.
Unifique texto, imagens e áudio em espaços de incorporação compartilhados.
Embeddings multimodais representam um avanço na inteligência artificial, permitindo compreensão e raciocínio através de diferentes tipos de dados dentro de um espaço de representação unificado.
Implante IA empresarial em hardware de baixo custo com modelos abertos
A democratização da IA chegou. Com LLMs de código aberto como Llama, Mistral e Qwen rivalizando agora com modelos proprietários, as equipes podem construir uma poderosa infraestrutura de IA usando hardware de consumo - reduzindo drasticamente os custos enquanto mantêm controle total sobre a privacidade dos dados e a implantação.
Configure tamanhos de contexto no Docker Model Runner com soluções alternativas
A configuração de tamanhos de contexto no Docker Model Runner é mais complexa do que deveria.
Modelo de IA para aprimorar imagens com instruções textuais
A Black Forest Labs lançou o FLUX.1-Kontext-dev, um modelo avançado de IA para transformação de imagem em imagem que aprimora imagens existentes usando instruções de texto.
Ative a aceleração por GPU para o Docker Model Runner com suporte NVIDIA CUDA.
Docker Model Runner é a ferramenta oficial da Docker para executar modelos de IA localmente, mas habilitar a aceleração de GPU da NVidia no Docker Model Runner requer configuração específica.
Benchmarks do GPT-OSS 120b em três plataformas de IA
Descobri alguns testes de desempenho interessantes do GPT-OSS 120b rodando no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama pesa 65 GB, o que significa que ele não cabe na VRAM de 16 GB de uma RTX 4080 (ou na mais recente RTX 5080).
Referência rápida para comandos do Docker Model Runner
Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Esta lista de comandos essenciais fornece uma referência rápida para todos os comandos, configurações e melhores práticas.
Compare o Docker Model Runner e o Ollama para LLM locais.
Execução local de grandes modelos de linguagem (LLMs) tornou-se cada vez mais popular devido à privacidade, controle de custos e capacidades offline. O cenário mudou significativamente em abril de 2025, quando a Docker introduziu o Docker Model Runner (DMR), sua solução oficial para implantação de modelos de IA.
Disponibilidade, preços reais de varejo em seis países e comparação com o Mac Studio.
NVIDIA DGX Spark é real, à venda a partir de 15 de outubro de 2025, e voltado para desenvolvedores de CUDA que necessitam de trabalho local com LLMs, com uma pilha de IA da NVIDIA integrada. O MSRP nos EUA é de $3.999; o varejo no Reino Unido/Alemança/Japão é mais alto devido ao IVA e aos canais de distribuição. Os preços públicos de etiqueta em AUD/KRW ainda não foram amplamente divulgados.
