Velocidade de tokens do llama.cpp com 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs executados em uma GPU com 16 GB de VRAM, escolhendo o melhor para auto-hospedagem.
A RTX 5090 está escassa e com preço inflado na Austrália.
A Austrália tem estoque de RTX 5090. Quase nada. E se você encontrar uma, pagará um prêmio que parece descolado da realidade.
Comparação de Estratégias de Chunking em RAG
Chunking é o hiperparâmetro mais subestimado na Geração Aumentada por Recuperação (RAG): ele determina silenciosamente o que seu LLM “vê”, o quão cara se torna a ingestão, e quanto da janela de contexto do LLM você queima por resposta.
Controle dados e modelos com LLMs auto-hospedados
A auto-hospedagem de LLMs mantém dados, modelos e inferência sob o seu controle – um caminho prático para soberania da IA para equipes, empresas e nações.
Teste de velocidade de LLM no RTX 4080 com 16 GB de VRAM
Executar grandes modelos de linguagem (LLMs) localmente oferece privacidade, capacidade offline e zero custo de API. Este teste revela exatamente o que se pode esperar de 14 LLMs populares LLMs no Ollama em uma RTX 4080.
Verificação de preços de GPUs e RAM de janeiro de 2025
Hoje, estamos analisando os GPUs de consumo e módulos de RAM de topo. Especificamente, estou olhando para os preços da RTX-5080 e RTX-5090, e 32GB (2x16GB) DDR5 6000.
Escolha o terminal ideal para o seu fluxo de trabalho com Linux
Uma das ferramentas mais essenciais para usuários de Linux é o emulador de terminal.
Preços reais em AUD de varejistas australianos agora
O NVIDIA DGX Spark (GB10 Grace Blackwell) está agora disponível na Austrália nas principais lojas de computadores, com estoque local. Se você tem acompanhado os preços e disponibilidade globais do DGX Spark, terá interesse em saber que os preços na Austrália variam de A$ 6.249 a A$ 7.999, dependendo da configuração de armazenamento e do varejista.
Testando o Cognee com LLMs locais – resultados reais
Cognee é um framework em Python para construir grafos de conhecimento a partir de documentos usando LLMs. Mas ele funciona com modelos auto-hospedados?
Como resolvi problemas de rede no Ubuntu
Após instalar automaticamente um novo kernel, o Ubuntu 24.04 perdeu a rede ethernet. Este problema frustrante ocorreu comigo pela segunda vez, por isso estou documentando a solução aqui para ajudar outros que enfrentam o mesmo problema.
Postagem curta, apenas registrando o preço.
Com essa volatilidade louca dos preços da RAM, para formar e ter uma melhor compreensão, vamos acompanhar os preços da RAM na Austrália nós mesmos primeiro.
Os preços da memória RAM disparam entre 163% e 619% à medida que a demanda por IA tensiona o fornecimento.
O mercado de memória está experimentando uma volatilidade de preços sem precedentes no final de 2025, com os preços da RAM disparando dramaticamente em todos os segmentos.
Preços de GPUs de Consumo Adequadas para IA - RTX 5080 e RTX 5090
Vamos comparar os preços das GPUs de consumo de topo, que são adequadas, em particular, para LLMs e, em geral, para IA. Especificamente, estou analisando os preços das RTX-5080 e RTX-5090.
Implante IA empresarial em hardware de baixo custo com modelos abertos
A democratização da IA chegou. Com LLMs de código aberto como Llama, Mistral e Qwen rivalizando agora com modelos proprietários, as equipes podem construir uma poderosa infraestrutura de IA usando hardware de consumo - reduzindo drasticamente os custos enquanto mantêm controle total sobre a privacidade dos dados e a implantação.
Ative a aceleração por GPU para o Docker Model Runner com suporte NVIDIA CUDA.
Docker Model Runner é a ferramenta oficial da Docker para executar modelos de IA localmente, mas habilitar a aceleração de GPU da NVidia no Docker Model Runner requer configuração específica.
