Comparando o desempenho de LLMs no Ollama em uma GPU com 16 GB de VRAM

Rodar modelos de linguagem grandes localmente oferece privacidade, capacidade de uso offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 14 modelos populares de LLMs no Ollama em uma RTX 4080.

Com uma GPU de 16GB de VRAM, enfrentei um compromisso constante: modelos maiores com potencialmente melhor qualidade, ou modelos menores com inferência mais rápida. Para saber mais sobre o desempenho de LLMs — throughput versus latência, limites de VRAM, requisições paralelas e benchmarks entre runtimes — veja Desempenho de LLM: Benchmarks, Gargalos e Otimização.

Este artigo foca no Ollama. Para a mesma classe de GPU de 16 GB medida com llama.cpp em contextos de 19K, 32K e 64K (VRAM, carga da GPU, tokens por segundo em checkpoints densos e MoE), veja Benchmarks de LLM com 16 GB de VRAM usando llama.cpp (velocidade e contexto).

Uma vez que o throughput e as divisões de VRAM pareçam aceitáveis, cargas de trabalho no estilo agente ainda precisam de presets de temperatura e penalidade sensatos para stacks estilo Qwen e Gemma; veja Parâmetros de inferência agêntica para Qwen e Gemma.

TL;DR

Aqui está a tabela de comparação atualizada do desempenho de LLMs em uma RTX 4080 16GB com Ollama 0.17.7, (2026-03-09) adicionados os modelos Qwen 3.5 9b, 9bq8, 27b e 35b:

Insight principal: Modelos que cabem inteiramente na VRAM são dramaticamente mais rápidos. O GPT-OSS 20B atinge 139.93 tokens/seg, enquanto o GPT-OSS 120B, com pesado offload para CPU, avança a 12.64 tokens/seg — uma diferença de velocidade de 11x.

Configuração do Hardware de Teste

O benchmark foi conduzido no seguinte sistema:

• GPU: NVIDIA RTX 4080 com 16GB de VRAM
• CPU: Intel Core i7-14700 (8 núcleos P + 12 núcleos E)
• RAM: 64GB DDR5-6000

Isto representa uma configuração de alto fim comum para consumidores para inferência local de LLMs. Os 16GB de VRAM são a restrição crítica — eles determinam quais modelos rodam inteiramente na GPU versus aqueles que requerem offload para CPU.

Entender como o Ollama usa os núcleos de CPU Intel torna-se importante quando os modelos excedem a capacidade da VRAM, pois o desempenho da CPU impacta diretamente a velocidade de inferência das camadas offloadadas.

Propósito deste Benchmark

O objetivo principal era medir a velocidade de inferência sob condições realistas. Eu já sabia por experiência que o Mistral Small 3.2 24B se destaca em qualidade de linguagem, enquanto o Qwen3 14B oferece um seguimento de instruções superior para meus casos de uso específicos.

Este benchmark responde à pergunta prática: Quão rápido cada modelo pode gerar texto, e qual é a penalidade de velocidade por exceder os limites de VRAM?

Os parâmetros de teste foram:

• Tamanho do contexto: 19.000 tokens. Este é o valor médio nas minhas requisições de geração.
• Prompt: “compare weather and climate between capital cities of australia”
• Métrica: taxa de avaliação (tokens por segundo durante a geração)

Instalação e Versão do Ollama

Todos os testes usaram a versão 0.15.2 do Ollama, o lançamento mais recente na época do teste. Mais tarde, re-executou com Ollama v 0.17.7 - para adicionar os modelos Qwen3.5. Para uma referência completa dos comandos do Ollama usados neste benchmark, veja a Folha de dicas do Ollama.

Para recapitular rapidamente - instalar o Ollama no Linux:

curl -fsSL https://ollama.com/install.sh | sh

Verificar a instalação:

ollama --version

Se você precisar armazenar modelos em um drive diferente devido a restrições de espaço, confira como mover modelos do Ollama para um drive diferente.

Modelos Testados

Os seguintes modelos foram testados, em ordem alfabética:

Para baixar qualquer modelo:

ollama pull gpt-oss:20b
ollama pull qwen3:14b

Entendendo o Offload para CPU

Quando os requisitos de memória de um modelo excedem a VRAM disponível, o Ollama distribui automaticamente as camadas do modelo entre a GPU e a RAM do sistema. A saída mostra isso como uma divisão percentual, como “18%/82% CPU/GPU”.

Isto tem implicações massivas de desempenho. Cada geração de token requer transferência de dados entre a memória da CPU e da GPU — um gargalo que se acumula com cada camada offloadada para a CPU.

O padrão fica claro a partir dos nossos resultados:

• Modelos 100% GPU: 61-140 tokens/seg
• Modelos 70-82% GPU: 19-51 tokens/seg
• 22% GPU (principalmente CPU): 12.6 tokens/seg

Isto explica por que um modelo de 20B parâmetros pode superar um modelo de 120B por 11x na prática. Se você planeja servir múltiplas requisições concorrentes, entender como o Ollama lida com requisições paralelas torna-se essencial para o planejamento de capacidade. A divisão de offload para CPU acima é realmente um problema de orçamento de KV-cache e pesos disfarçado — KV Cache em GPUs de 16 GB detalha a matemática exata e as configurações OLLAMA_KV_CACHE_TYPE que permitem recuperar folga sem recorrer a um modelo menor.

Resultados Detalhados do Benchmark

Modelos Rodando 100% na GPU

GPT-OSS 20B — O Campeão da Velocidade

ollama run gpt-oss:20b --verbose
/set parameter num_ctx 19000

NAME           SIZE     PROCESSOR    CONTEXT
gpt-oss:20b    14 GB    100% GPU     19000

eval count:           2856 token(s)
eval duration:        20.410517947s
eval rate:            139.93 tokens/s

A 139.93 tokens/seg, o GPT-OSS 20B é o vencedor claro para aplicações críticas em velocidade. Ele usa apenas 14GB de VRAM, deixando folga para janelas de contexto maiores ou outras cargas de trabalho da GPU.

Qwen3 14B — Excelente Equilíbrio

ollama run qwen3:14b --verbose
/set parameter num_ctx 19000

NAME         SIZE     PROCESSOR    CONTEXT
qwen3:14b    12 GB    100% GPU     19000

eval count:           3094 token(s)
eval duration:        50.020594575s
eval rate:            61.85 tokens/s

O Qwen3 14B oferece o melhor seguimento de instruções, na minha experiência, com uma pegada de memória confortável de 12GB. A 61.85 tokens/seg, é responsivo o suficiente para uso interativo.

Para desenvolvedores que integram o Qwen3 em aplicações, veja Saída Estruturada de LLM com Ollama e Qwen3 para extrair respostas JSON estruturadas.

Ministral 3 14B — Rápido e Compacto

ollama run ministral-3:14b --verbose
/set parameter num_ctx 19000

NAME               SIZE     PROCESSOR    CONTEXT
ministral-3:14b    13 GB    100% GPU     19000

eval count:           1481 token(s)
eval duration:        21.11734277s
eval rate:            70.13 tokens/s

O modelo menor da Mistral entrega 70.13 tokens/seg enquanto cabe inteiramente na VRAM. Uma escolha sólida quando você precisa da qualidade da família Mistral na velocidade máxima.

qwen3.5:9b - rápido e novo

ollama run  qwen3.5:9b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME          ID              SIZE      PROCESSOR    CONTEXT
qwen3.5:9b    6488c96fa5fa    9.3 GB    100% GPU     19000

eval count:           3802 token(s)
eval duration:        41.830174597s
eval rate:            90.89 tokens/s

qwen3.5:9b-q8_0 - quantização q8

Esta quantização reduz o desempenho do qwen3.5:9b em 30% comparado ao q4.

ollama run  qwen3.5:9b-q8_0 --verbose
/set parameter num_ctx 19000

compare weather and climate between capital cities of australia
NAME               ID              SIZE     PROCESSOR    CONTEXT
qwen3.5:9b-q8_0    441ec31e4d2a    13 GB    100% GPU     19000

eval count:           3526 token(s)
eval duration:        57.595540159s
eval rate:            61.22 tokens/s

Modelos Requerendo Offload para CPU

qwen3-coder:30b - o mais rápido da série de LLMs 30b por ser apenas texto

ollama run qwen3-coder:30b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME               ID              SIZE     PROCESSOR          CONTEXT
qwen3-coder:30b    06c1097efce0    20 GB    25%/75% CPU/GPU    19000
22%/605%

eval count:           559 token(s)
eval duration:        9.77768875s
eval rate:            57.17 tokens/s

Qwen3-VL 30B — Melhor Desempenho Parcialmente Offloadado

ollama run qwen3-vl:30b-a3b-instruct --verbose
/set parameter num_ctx 19000

NAME                         SIZE     PROCESSOR          CONTEXT
qwen3-vl:30b-a3b-instruct    22 GB    30%/70% CPU/GPU    19000

eval count:           1450 token(s)
eval duration:        28.439319709s
eval rate:            50.99 tokens/s

Apesar de 30% das camadas estarem na CPU, o Qwen3-VL mantém 50.99 tokens/seg — mais rápido que alguns modelos 100% em GPU. A capacidade de visão adiciona versatilidade para tarefas multimodais.

Mistral Small 3.2 24B — Compromisso entre Qualidade e Velocidade

ollama run mistral-small3.2:24b --verbose
/set parameter num_ctx 19000

NAME                    SIZE     PROCESSOR          CONTEXT
mistral-small3.2:24b    19 GB    18%/82% CPU/GPU    19000

eval count:           831 token(s)
eval duration:        44.899859038s
eval rate:            18.51 tokens/s

O Mistral Small 3.2 oferece qualidade de linguagem superior, mas paga uma penalidade de velocidade pesada. A 18.51 tokens/seg, ele se sente visivelmente mais lento para chat interativo. Vale a pena para tarefas onde a qualidade importa mais que a latência.

GLM 4.7 Flash — Modelo de Raciocínio MoE

ollama run glm-4.7-flash --verbose
/set parameter num_ctx 19000

NAME                 SIZE     PROCESSOR          CONTEXT
glm-4.7-flash        21 GB    27%/73% CPU/GPU    19000

eval count:           2446 token(s)
eval duration:        1m12.239164004s
eval rate:            33.86 tokens/s

O GLM 4.7 Flash é um modelo Mixture of Experts de 30B-A3B — 30B de parâmetros totais, com apenas 3B ativos por token. Como um modelo de “raciocínio”, ele gera raciocínio interno antes das respostas. Os 33.86 tokens/seg incluem tanto tokens de raciocínio quanto tokens de saída. Apesar do offload para CPU, a arquitetura MoE o mantém razoavelmente rápido.

qwen3.5:35b - Novo modelo com desempenho self-hosted decente

ollama run qwen3.5:35b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME           ID              SIZE     PROCESSOR          CONTEXT
qwen3.5:35b    4af949f8bdf0    27 GB    43%/57% CPU/GPU    19000

eval count:           3418 token(s)
eval duration:        2m45.458926548s
eval rate:            20.66 tokens/s

GPT-OSS 120B — O Pesado

ollama run gpt-oss:120b --verbose
/set parameter num_ctx 19000

NAME            SIZE     PROCESSOR          CONTEXT
gpt-oss:120b    66 GB    78%/22% CPU/GPU    19000

eval count:           5008 token(s)
eval duration:        6m36.168233066s
eval rate:            12.64 tokens/s

Rodar um modelo de 120B em 16GB de VRAM é tecnicamente possível, mas doloroso. Com 78% na CPU, os 12.64 tokens/seg tornam o uso interativo frustrante. Mais adequado para processamento em lote onde a latência não importa.

qwen3.5:27b - Inteligente, mas lento no Ollama

ollama run qwen3.5:27b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME           ID              SIZE     PROCESSOR          CONTEXT
qwen3.5:27b    193ec05b1e80    24 GB    43%/57% CPU/GPU    19000

eval count:           3370 token(s)
eval duration:        8m40.087510281s
eval rate:            6.48 tokens/s

Testei o qwen3.5:27b e tive uma opinião extremamente boa sobre o desempenho deste modelo com o OpenCode. É muito capaz, conhecedor, realmente bom em chamadas de ferramentas, embora seja lento na minha máquina no Ollama. Tentei outras plataformas de self-hosting de LLMs e obtive velocidades muito maiores. Acredito que é hora de deixar o Ollama para trás. Vou escrever sobre isso um pouco mais tarde.

Recomendações Práticas

Para Chat Interativo

Use modelos que cabem 100% na VRAM:

1. GPT-OSS 20B — Velocidade máxima (139.93 t/s)
2. Ministral 3 14B — Boa velocidade com qualidade Mistral (70.13 t/s)
3. Qwen3 14B — Melhor seguimento de instruções (61.85 t/s)

Para uma melhor experiência de chat, considere as Interfaces de Chat Open-Source para Ollama local.

Para Processamento em Lote

Isto é, novamente, no meu equipamento - 14GB de VRAM.

Quando a velocidade é menos crítica:

• Mistral Small 3.2 24B — Qualidade de linguagem superior
• Qwen3-VL 30B — Capacidade de visão + texto

Quando a velocidade não é crítica de forma alguma:

• Qwen3.5:35b - Boas capacidades de codificação
• Qwen3.5:27b - Extremamente bom, mas lento no Ollama. Tive bastante sucesso hospedando este modelo no llama.cpp, no entanto.

Para Desenvolvimento e Codificação

Se você está construindo aplicações com o Ollama:

• Exemplos de integração em Python
• Comparação de SDKs em Go

Opções de Hospedagem Alternativas

Se as limitações do Ollama o preocupam (veja Preocupações com a deterioração do Ollama), explore outras opções no Guia de Hospedagem Local de LLMs ou compare o Docker Model Runner versus Ollama.

Conclusão

Com 16GB de VRAM, você pode rodar LLMs capazes a velocidades impressionantes — se escolher sabiamente. As principais conclusões:

1. Mantenha-se dentro dos limites de VRAM para uso interativo. Um modelo de 20B a 140 tokens/seg supera um modelo de 120B a 12 tokens/seg para a maioria dos propósitos práticos.

2. O GPT-OSS 20B vence em velocidade pura, mas o Qwen3 14B oferece o melhor equilíbrio entre velocidade e capacidade para tarefas de seguimento de instruções.

3. O offload para CPU funciona, mas espere reduções de velocidade de 3-10x. Aceitável para processamento em lote, frustrante para chat.

4. O tamanho do contexto importa. O contexto de 19K usado aqui aumenta significativamente o uso de VRAM. Reduza o contexto para uma melhor utilização da GPU.

Para busca impulsionada por IA que combina LLMs locais com resultados da web, veja a automação do Perplexica com Ollama.

Para explorar mais benchmarks, compromissos entre VRAM e throughput e ajuste de desempenho entre o Ollama e outros runtimes, verifique nosso hub de Desempenho de LLM: Benchmarks, Gargalos e Otimização.

Links Úteis

Recursos Internos

• Folha de dicas do Ollama: Comandos mais úteis do Ollama
• Como o Ollama Lida com Requisições Paralelas
• Como o Ollama está usando os núcleos de Desempenho e Eficiência da CPU Intel
• Hospedagem Local de LLM: Guia Completo 2026 - Ollama, vLLM, LocalAI, Jan, LM Studio e Mais
• A Fronteira Eficiente dos Modelos Abertos em 2026

Referências Externas

• Documentação Oficial do Ollama
• Repositório GitHub do Ollama
• Família de Modelos Qwen3
• Modelos da Mistral AI
• NVIDIA CUDA Toolkit