Vergleich der Leistung von LLMs auf Ollama mit einer GPU mit 16 GB VRAM

Das lokale Ausführen großer Sprachmodelle bietet Datenschutz, Offline-Funktionalität und null API-Kosten. Dieser Benchmark zeigt genau auf, was man von 14 beliebten LLMs auf Ollama mit einer RTX 4080 erwarten kann.

Mit einer GPU mit 16 GB VRAM stand ich vor einem ständigen Zielkonflikt: Größere Modelle mit potenziell besserer Qualität oder kleinere Modelle mit schnellerer Inferenz. Für weitere Informationen zur LLM-Leistung – Durchsatz vs. Latenz, VRAM-Limits, parallele Anfragen und Benchmarks über verschiedene Laufzeiten hinweg – siehe LLM-Leistung: Benchmarks, Engpässe & Optimierung.

Dieser Artikel konzentriert sich auf Ollama. Für dieselbe 16-GB-GPU-Klasse, gemessen mit llama.cpp bei 19K, 32K und 64K Kontext (VRAM, GPU-Auslastung, Tokens pro Sekunde über dichte und MoE-Checkpoints hinweg), siehe 16 GB VRAM LLM-Benchmarks mit llama.cpp (Geschwindigkeit und Kontext).

Sobald Durchsatz und VRAM-Aufteilung akzeptabel aussehen, benötigen agentenartige Workloads noch sinnvolle Temperatur- und Strafmaßeinstellungen für Qwen- und Gemma-Stacks; siehe Agentische Inferenzparameter für Qwen und Gemma.

TL;DR

Hier ist die aktualisierte Vergleichstabelle der LLM-Leistung auf der RTX 4080 16GB mit Ollama 0.17.7, (2026-03-09) hinzugefügt Qwen 3.5 9b, 9bq8, 27b und 35b Modelle:

Wesentliche Erkenntnis: Modelle, die vollständig in den VRAM passen, sind drastisch schneller. GPT-OSS 20B erreicht 139,93 Tokens/Sek, während GPT-OSS 120B mit starker CPU-Offloading nur 12,64 Tokens/Sek schafft – ein Geschwindigkeitsunterschied von Faktor 11.

Testhardware-Aufbau

Der Benchmark wurde auf folgendem System durchgeführt:

• GPU: NVIDIA RTX 4080 mit 16 GB VRAM
• CPU: Intel Core i7-14700 (8 P-Cores + 12 E-Cores)
• RAM: 64 GB DDR5-6000

Dies repräsentiert eine gängige High-End-Consumer-Konfiguration für die lokale LLM-Inferenz. Die 16 GB VRAM sind der kritische Engpass – sie bestimmen, welche Modelle vollständig auf der GPU laufen und welche CPU-Offloading erfordern.

Das Verständnis davon, wie Ollama Intel-CPU-Kerne nutzt, wird wichtig, wenn Modelle die VRAM-Kapazität überschreiten, da die CPU-Leistung die Inferenzgeschwindigkeit der ausgelagerten Schichten direkt beeinflusst.

Zweck dieses Benchmarks

Das Hauptziel war die Messung der Inferenzgeschwindigkeit unter realistischen Bedingungen. Mir war aus Erfahrung bereits bekannt, dass Mistral Small 3.2 24B in der Sprachqualität excellet, während Qwen3 14B für meine speziellen Anwendungsfälle eine überlegene Anweisungsbefolgung bietet.

Dieser Benchmark beantwortet die praktische Frage: Wie schnell kann jedes Modell Text generieren und welches Geschwindigkeitsminus entsteht beim Überschreiten der VRAM-Limits?

Die Testparameter waren:

• Kontextgröße: 19.000 Tokens. Dies ist der Durchschnittswert in meinen Generate-Anfragen.
• Prompt: “Vergleiche Wetter und Klima zwischen den Hauptstadtstaaten Australiens”
• Metrik: eval rate (Tokens pro Sekunde während der Generierung)

Ollama-Installation und Version

Alle Tests verwendeten Ollama Version 0.15.2, die neueste Veröffentlichung zum Zeitpunkt des Tests. Später wurde auf Ollama v 0.17.7 neu ausgeführt – um Qwen3.5-Modelle hinzuzufügen. Für eine vollständige Referenz der Ollama-Befehle, die in diesem Benchmark verwendet wurden, siehe das Ollama-Cheatsheet.

Zur schnellen Nachinstallation – Ollama auf Linux installieren:

curl -fsSL https://ollama.com/install.sh | sh

Installation überprüfen:

ollama --version

Wenn Sie Modelle aufgrund von Speicherbeschränkungen auf einer anderen Festplatte speichern müssen, sehen Sie sich an, wie man Ollama-Modelle auf eine andere Festplatte verschiebt.

Getestete Modelle

Die folgenden Modelle wurden alphabetisch sortiert benchmarkt:

Um ein beliebiges Modell herunterzuladen:

ollama pull gpt-oss:20b
ollama pull qwen3:14b

Verständnis von CPU-Offloading

Wenn die Speicheranforderungen eines Modells den verfügbaren VRAM überschreiten, verteilt Ollama die Modellschichten automatisch zwischen GPU und System-RAM. Die Ausgabe zeigt dies als prozentuale Aufteilung wie „18%/82% CPU/GPU“.

Dies hat massive Leistungsimplikationen. Jede Token-Generierung erfordert einen Datentransfer zwischen CPU- und GPU-Speicher – ein Engpass, der sich mit jeder auf die CPU ausgelagerten Schicht multipliziert.

Das Muster ist aus unseren Ergebnissen klar ersichtlich:

• 100% GPU-Modelle: 61-140 Tokens/Sek
• 70-82% GPU-Modelle: 19-51 Tokens/Sek
• 22% GPU (meistens CPU): 12,6 Tokens/Sek

Dies erklärt, warum ein 20B-Parameter-Modell in der Praxis ein 120B-Modell um das 11-fache übertreffen kann. Wenn Sie planen, mehrere parallele Anfragen zu bedienen, wird das Verständnis davon, wie Ollama parallele Anfragen handhabt, für die Kapazitätsplanung essenziell.

Detaillierte Benchmark-Ergebnisse

Modelle, die zu 100% auf der GPU laufen

GPT-OSS 20B — Der Geschwindigkeitsmeister

ollama run gpt-oss:20b --verbose
/set parameter num_ctx 19000

NAME           SIZE     PROCESSOR    CONTEXT
gpt-oss:20b    14 GB    100% GPU     19000

eval count:           2856 token(s)
eval duration:        20.410517947s
eval rate:            139.93 tokens/s

Mit 139,93 Tokens/Sek ist GPT-OSS 20B der klare Gewinner für geschwindigkeitskritische Anwendungen. Es nutzt nur 14 GB VRAM, was Spielraum für größere Kontextfenster oder andere GPU-Workloads lässt.

Qwen3 14B — Ausgeglichene Balance

ollama run qwen3:14b --verbose
/set parameter num_ctx 19000

NAME         SIZE     PROCESSOR    CONTEXT
qwen3:14b    12 GB    100% GPU     19000

eval count:           3094 token(s)
eval duration:        50.020594575s
eval rate:            61.85 tokens/s

Qwen3 14B bietet nach meiner Erfahrung die beste Anweisungsbefolgung, mit einem komfortablen Speicherbedarf von 12 GB. Mit 61,85 Tokens/Sek ist es reaktionsschnell genug für interaktive Nutzung.

Für Entwickler, die Qwen3 in Anwendungen integrieren, siehe LLM-Strukturierte Ausgabe mit Ollama und Qwen3 zum Extrahieren strukturierter JSON-Antworten.

Ministral 3 14B — Schnell und kompakt

ollama run ministral-3:14b --verbose
/set parameter num_ctx 19000

NAME               SIZE     PROCESSOR    CONTEXT
ministral-3:14b    13 GB    100% GPU     19000

eval count:           1481 token(s)
eval duration:        21.11734277s
eval rate:            70.13 tokens/s

Mistrals kleineres Modell liefert 70,13 Tokens/Sek und passt vollständig in den VRAM. Eine solide Wahl, wenn Sie Mistral-Familienqualität bei maximaler Geschwindigkeit benötigen.

qwen3.5:9b - schnell und neu

ollama run  qwen3.5:9b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME          ID              SIZE      PROCESSOR    CONTEXT
qwen3.5:9b    6488c96fa5fa    9.3 GB    100% GPU     19000

eval count:           3802 token(s)
eval duration:        41.830174597s
eval rate:            90.89 tokens/s

qwen3.5:9b-q8_0 - q8 Quantisierung

Diese Quantisierung drückt die Leistung von qwen3.5:9b im Vergleich zu q4 um 30 % nach unten.

ollama run  qwen3.5:9b-q8_0 --verbose
/set parameter num_ctx 19000

compare weather and climate between capital cities of australia
NAME               ID              SIZE     PROCESSOR    CONTEXT
qwen3.5:9b-q8_0    441ec31e4d2a    13 GB    100% GPU     19000

eval count:           3526 token(s)
eval duration:        57.595540159s
eval rate:            61.22 tokens/s

Modelle, die CPU-Offloading erfordern

qwen3-coder:30b - schnellstes aus dem 30B LLM-Set, da textbasiert

ollama run qwen3-coder:30b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME               ID              SIZE     PROCESSOR          CONTEXT
qwen3-coder:30b    06c1097efce0    20 GB    25%/75% CPU/GPU    19000
22%/605%

eval count:           559 token(s)
eval duration:        9.77768875s
eval rate:            57.17 tokens/s

Qwen3-VL 30B — Beste teilweise ausgelagerte Leistung

ollama run qwen3-vl:30b-a3b-instruct --verbose
/set parameter num_ctx 19000

NAME                         SIZE     PROCESSOR          CONTEXT
qwen3-vl:30b-a3b-instruct    22 GB    30%/70% CPU/GPU    19000

eval count:           1450 token(s)
eval duration:        28.439319709s
eval rate:            50.99 tokens/s

Trotz 30 % der Schichten auf der CPU hält Qwen3-VL 50,99 Tokens/Sek bei – schneller als einige 100%-GPU-Modelle. Die Vision-Funktionalität fügt Vielseitigkeit für multimodale Aufgaben hinzu.

Mistral Small 3.2 24B — Qualitäts- vs. Geschwindigkeits-Trade-off

ollama run mistral-small3.2:24b --verbose
/set parameter num_ctx 19000

NAME                    SIZE     PROCESSOR          CONTEXT
mistral-small3.2:24b    19 GB    18%/82% CPU/GPU    19000

eval count:           831 token(s)
eval duration:        44.899859038s
eval rate:            18.51 tokens/s

Mistral Small 3.2 bietet überlegene Sprachqualität, zahlt aber einen steilen Geschwindigkeitspreis. Mit 18,51 Tokens/Sek fühlt es sich für interaktiven Chat merklich langsamer an. Es lohnt sich für Aufgaben, bei denen Qualität wichtiger ist als Latenz.

GLM 4.7 Flash — MoE Denkkraft-Modell

ollama run glm-4.7-flash --verbose
/set parameter num_ctx 19000

NAME                 SIZE     PROCESSOR          CONTEXT
glm-4.7-flash        21 GB    27%/73% CPU/GPU    19000

eval count:           2446 token(s)
eval duration:        1m12.239164004s
eval rate:            33.86 tokens/s

GLM 4.7 Flash ist ein 30B-A3B Mixture-of-Experts-Modell – 30B Gesamtparameter, wobei nur 3B pro Token aktiv sind. Als „Denk“-Modell generiert es internes Reasoning vor den Antworten. Die 33,86 Tokens/Sek beinhalten sowohl Denk- als auch Ausgabe-Tokens. Trotz CPU-Offloading hält die MoE-Architektur es reasonably schnell.

qwen3.5:35b - Neues Modell mit anständiger selbstgehosteter Leistung

ollama run qwen3.5:35b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME           ID              SIZE     PROCESSOR          CONTEXT
qwen3.5:35b    4af949f8bdf0    27 GB    43%/57% CPU/GPU    19000

eval count:           3418 token(s)
eval duration:        2m45.458926548s
eval rate:            20.66 tokens/s

GPT-OSS 120B — Der Schwergewicht

ollama run gpt-oss:120b --verbose
/set parameter num_ctx 19000

NAME            SIZE     PROCESSOR          CONTEXT
gpt-oss:120b    66 GB    78%/22% CPU/GPU    19000

eval count:           5008 token(s)
eval duration:        6m36.168233066s
eval rate:            12.64 tokens/s

Ein 120B-Modell auf 16 GB VRAM zu betreiben, ist technisch möglich, aber schmerzhaft. Mit 78 % auf der CPU macht die Geschwindigkeit von 12,64 Tokens/Sek die interaktive Nutzung frustrierend. Eher geeignet für Batch-Verarbeitung, bei der Latenz keine Rolle spielt.

qwen3.5:27b - Intelligent, aber langsam auf Ollama

ollama run qwen3.5:27b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME           ID              SIZE     PROCESSOR          CONTEXT
qwen3.5:27b    193ec05b1e80    24 GB    43%/57% CPU/GPU    19000

eval count:           3370 token(s)
eval duration:        8m40.087510281s
eval rate:            6.48 tokens/s

Ich habe qwen3.5:27b getestet und eine extrem positive Meinung zur Leistung dieses Modells mit OpenCode gewonnen. Es ist sehr fähig, kenntnisreich, hat wirklich gute Tool-Calling-Fähigkeiten, obwohl es auf meiner Maschine auf Ollama langsam ist. Ich habe andere LLM-Self-Hosting-Plattformen ausprobiert und viel höhere Geschwindigkeiten erzielt. Ich glaube, es ist Zeit, Ollama zu verlassen. Dazu werde ich etwas später schreiben.

Praktische Empfehlungen

Für interaktiven Chat

Verwenden Sie Modelle, die zu 100% in den VRAM passen:

1. GPT-OSS 20B — Maximale Geschwindigkeit (139,93 t/s)
2. Ministral 3 14B — Gute Geschwindigkeit mit Mistral-Qualität (70,13 t/s)
3. Qwen3 14B — Beste Anweisungsbefolgung (61,85 t/s)

Für ein besseres Chat-Erlebnis betrachten Sie Open-Source-Chat-UIs für lokales Ollama.

Für Batch-Verarbeitung

Dies ist wiederum auf meiner Hardware – 14 GB VRAM.

Wenn Geschwindigkeit weniger kritisch ist:

• Mistral Small 3.2 24B — Überlegene Sprachqualität
• Qwen3-VL 30B — Vision + Text-Funktionalität

Wenn Geschwindigkeit überhaupt nicht kritisch ist:

• Qwen3.5:35b - Gute Coding-Fähigkeiten
• Qwen3.5:27b - Extrem gut, aber langsam auf Ollama. Ich hatte jedoch mit dem Hosting dieses Modells auf llama.cpp ziemlichen Erfolg.

Für Entwicklung und Coding

Wenn Sie Anwendungen mit Ollama entwickeln:

• Python-Integrationsbeispiele
• Go SDK-Vergleich

Alternative Hosting-Optionen

Wenn Sie sich über die Einschränkungen von Ollama Sorgen machen (siehe Ollama-Enshittification-Bedenken), erkunden Sie andere Optionen im Lokale LLM-Hosting-Leitfaden oder vergleichen Sie Docker Model Runner vs. Ollama.

Fazit

Mit 16 GB VRAM können Sie leistungsfähige LLMs bei beeindruckenden Geschwindigkeiten ausführen – wenn Sie klug auswählen. Die wichtigsten Erkenntnisse:

1. Bleiben Sie innerhalb der VRAM-Limits für die interaktive Nutzung. Ein 20B-Modell bei 140 Tokens/Sek schlägt ein 120B-Modell bei 12 Tokens/Sek für die meisten praktischen Zwecke.

2. GPT-OSS 20B gewinnt in reiner Geschwindigkeit, aber Qwen3 14B bietet die beste Balance aus Geschwindigkeit und Leistungsfähigkeit für Anweisungsbefolgungsaufgaben.

3. CPU-Offloading funktioniert, aber erwarten Sie Verlangsamungen um das 3- bis 10-fache. Akzeptabel für Batch-Verarbeitung, frustrierend für Chat.

4. Kontextgröße ist wichtig. Der hier verwendete 19K-Kontext erhöht die VRAM-Nutzung erheblich. Reduzieren Sie den Kontext für eine bessere GPU-Nutzung.

Für KI-gestützte Suche, die lokale LLMs mit Web-Ergebnissen kombiniert, siehe Self-Hosting Perplexica mit Ollama.

Um weitere Benchmarks, VRAM- und Durchsatz-Trade-offs sowie Leistungstuning über Ollama und andere Laufzeiten hinweg zu erkunden, schauen Sie in unseren LLM-Leistung: Benchmarks, Engpässe & Optimierung Hub.

Nützliche Links

Interne Ressourcen

• Ollama-Cheatsheet: Die nützlichsten Ollama-Befehle
• Wie Ollama parallele Anfragen handhabt
• Wie Ollama Intel-CPU-Leistungs- und Effizienzkern nutzt
• Lokale LLM-Hosting: Kompletter Leitfaden 2026 - Ollama, vLLM, LocalAI, Jan, LM Studio & Mehr

Externe Referenzen

• Ollama-Offizielle Dokumentation
• Ollama GitHub-Repository
• Qwen3 Modellfamilie
• Mistral AI Modelle
• NVIDIA CUDA Toolkit