Teste de velocidade de LLM na RTX 4080 com 16 GB de VRAM
Executar modelos de linguagem grandes localmente oferece privacidade, capacidade offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 9 modelos populares LLMs no Ollama no RTX 4080.
Benchmark do GPT-OSS 120b em três plataformas de IA
Fiz uma pesquisa sobre alguns interessantes testes de desempenho do GPT-OSS 120b em execução no Ollama em três diferentes plataformas: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama tem 65GB, o que significa que não cabe na VRAM de 16GB de um RTX 4080 (ou no mais recente RTX 5080).
Chips especializados estão tornando a inferência de IA mais rápida e barata
O futuro do IA não é apenas sobre modelos mais inteligentes modelos — é sobre silício mais inteligente.
Hardware especializado para inferência de LLM está impulsionando uma revolução semelhante à migração do mineração de Bitcoin para ASICs.
Comparando velocidade, parâmetros e desempenho desses dois modelos
Aqui está uma comparação entre Qwen3:30b e GPT-OSS:20b
focando em seguir instruções e parâmetros de desempenho, especificações e velocidade.
Não muito agradável.
Modelos GPT-OSS do Ollama têm problemas recorrentes ao lidar com saídas estruturadas, especialmente quando usados com frameworks como LangChain, OpenAI SDK, vllm e outros.
Meu próprio teste de escalonamento do modelo ollama
Aqui estou comparando quanto de VRAM a nova versão do Ollama aloca para o modelo com a versão anterior do Ollama. A nova versão é pior.
Pensando em instalar uma segunda GPU para LLMs?
Como os canais PCIe afetam o desempenho dos LLM? Dependendo da tarefa. Para treinamento e inferência com múltiplos GPUs - a perda de desempenho é significativa.
Ollama no processador Intel CPU Eficiente vs. núcleos de Desempenho
Tenho uma teoria para testar - se utilizar todos os núcleos em uma CPU Intel aumentaria a velocidade dos LLMs? Estou incomodado com o fato de que o novo modelo gemma3 27 bit (gemma3:27b, 17GB no ollama) não está cabendo na VRAM de 16GB da minha GPU, e está rodando parcialmente na CPU.
A IA requer muito poder...
No meio do caos do mundo moderno, aqui estou comparando especificações técnicas de diferentes cartões adequados para tarefas de IA
(Deep Learning,
Detecção de Objetos
e LLMs).
No entanto, todos são extremamente caros.
Configurando ollama para execução de solicitações em paralelo.
Quando o servidor Ollama recebe duas solicitações ao mesmo tempo, seu comportamento depende de sua configuração e dos recursos do sistema disponíveis.
Próxima rodada de testes de LLM
Há pouco tempo foi lançado. Vamos nos atualizar e
testar como o Mistral Small se compara a outros LLMs.
Testando detecção de falácias lógicas
Recentemente, vimos a liberação de vários novos LLMs. Tempos emocionantes. Vamos testar e ver como eles se saem ao detectar falácias lógicas.
8 versões do llama3 (Meta+) e 5 versões do phi3 (Microsoft) LLM
Testando como modelos com diferentes números de parâmetros e quantização estão se comportando.
Vamos testar a velocidade dos LLMs na GPU versus a CPU
Comparando a velocidade de previsão de várias versões de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) em CPU e GPU.
