Qwen3.8-Flash-Next lokal mit Strata ausführen: 64-GB-Schnellstart

Qwen3.8-Flash-Next (QFN) verfügt über 125 Mrd. Gesamtparameter, 6 Mrd. aktive Parameter pro Token und ein natives Kontextfenster von 256K. Das Denken ist standardmäßig aktiviert und das Modell erzielt die höchsten agentischen Codingscores in seiner Klasse für lokale Modelle.

Dieser Artikel beschreibt die Ausführung einer 3-Bit-Quantisierung von QFN auf einem Desktop-PC mit 64 GB RAM und einer RTX 5090 unter Verwendung von Strata und dokumentiert, warum Sub-Q4-Quantisierungen für agentische Workloads keine zuverlässigen Tool-Aufrufe erzeugen.


Die Installationsbefehle, der von jeder Quantisierung gesperrte RAM und die Tool-Aufruf-Fehler auf einem 64-GB-Desktop sind unten aufgeführt. Geschwindigkeits- und Fehlerwerte mischen Läufe auf diesem Rechner – einer RTX 5090, 64 GB RAM, Ubuntu 26.04 – mit Berichten im Strata-Tracker und den Release-Notizen von 0.2.11.

Die Befehle und Standardwerte der Engine wurden am 06.11.2026 anhand von Strata 0.2.11 überprüft, als das Repository 40.836 Sterne zeigte und die Engine-Pakete die Version 0.1.57 waren. Wo sich dieses Runtime-System neben Ollama, llama.cpp und vLLM positioniert, ist Aufgabe des [Leitfadens zur LLM-Hosting](https://www.glukhov.org/de/llm-hosting/ „LLM-Hosting 2026: Lokale, selbst gehostete und Cloud-Infrastrukturen im Vergleich.“).

Was Strata ist

Die Engine in diesem Schnellstart ist Niko1221/Strata, unter MIT-Lizenz. Ein anderes Projekt, die OSDI-2026-Paper über hierarchisches KV-Caching für SGLang, verwendet denselben Namen. Strata baut auf llama.cpp und ggml auf, und das Repository enthält einen Aufsatz unter docs/paper/Strata-Paper.pdf. Es führt Qwen3.8-Flash-Next über eine Consumer-GPU, System-RAM und eine SSD aus. Dieselbe Engine bedient auch Qwen3.6-35B und DeepSeek V4.1-Flash.

Qwen 3.8 Flash Next verfügt über 24.576 geroutete Experten in 48 Schichten; jedes Token aktiviert 10 Experten (6 Mrd. aktive Parameter insgesamt). Strata teilt das Modell auf drei Speicherebenen auf, anstatt zu verlangen, dass es in einer einzigen Ebene Platz findet.

Der 51-Billionen-n-Gramm-Parameterblock dient als eine 20-Millionen-Einträge-Lookup-Tabelle, indiziert durch Bigramme und Trigramme. Da dies ein Lookup und keine Matrixmultiplikation ist, kann er auf einer SSD mit minimalen Laufzeitkosten residieren.

Die VRAM-Kapazität bestimmt die Skalierungsachse. Jedes zusätzliche Gigabyte VRAM speichert etwa 700 Experten, und jeder auf der GPU gecachte Expert reduziert die CPU-Berechnung. Eine langsame Karte mit mehr VRAM schneidet besser ab als eine schnelle Karte mit weniger.

Die RAM-Kapazität ist eine harte Grenze, weil alle Experten für gleichzeitige CPU- und GPU-Berechnungen gepinnt sein müssen. Strata unterstützt kein lazy Memory Mapping auf die Festplatte. Die Downloadgröße und die RAM-Nutzung sind für QFN nahezu identisch.

Wie die Dekodiergeschwindigkeit entsteht

Drei Mechanismen liefern die Dekodiergeschwindigkeit.

1. Multi-Token-Vorhersage. Der Checkpoint enthält eine MTP-Schicht, trainiert für Mehrschritt-Entwürfe. Strata entwirft bis zu 3 Token und verifiziert sie in einem einzelnen Durchlauf über alle 48 Schichten – der Entwurf-Verifizierungszyklus im [Spekulativen Dekodierungs-Leitfaden](https://www.glukhov.org/de/llm-performance/optimization/speculative-decoding/ „Spekulative Dekodierung: Entwurf-Verifizierung, MTP, n-Gramm und Engine-Einrichtung.“). Das Projekt misst eine durchschnittliche Annahme von 2,4–3,2 Token pro Durchgang und berichtet dies als 1,6–1,8-fache Dekodiergeschwindigkeit bei gleichem Output.

2. Prompt-Lookup. Der Server zieht bis zu 5 Entwurf-Token aus früheren Kopien des Kontexts, wenn das Modell es wiederholt, wie bei einer Code-Änderung oder einem Zitat. Das Projekt berichtet Code-Änderungen 6–11 % schneller, und andere Texte bleiben unverändert.

3. Chunked-Prefill. Prompts treffen in Blöcken von bis zu 8.192 Token ein, und die Experten der nächsten Schicht werden über PCIe verschoben, während die Attention der aktuellen Schicht läuft. Das Projekt erreicht beim Ingestieren von Langdokumenten und Codebasen über 1.000 Token/s, und eine Folgebefragung startet innerhalb von Sekunden, weil der Gesprächszustand resident bleibt.

Der Server wird mit einer lokalen Chat-UI ausgeliefert, als Desktop-App oder im Terminal, plus OpenAI- und Anthropic-kompatible Endpunkte auf localhost. Claude Code, Codex CLI, OpenCode, Hermes Agent und OpenClaw verbinden sich über strata connect. Vom Projekt auflistete Hardware: NVIDIA RTX 20/30/40/50 Serie (CUDA-13-Engine-Pakete benötigen Treiber 580 oder neuer), AMD Radeon auf HIP, Intel Arc auf Linux, Apple Silicon und AMD Strix Halo. Release 0.2.11 ist Strata-0.2.11-linux-x86_64.AppImage für die Desktop-App; der Terminal-Pfad unten ist der, den dieser Schnellstart durchläuft.

QFN-Benchmarks gegen lokale Alternativen

Die Modellkarte von Alibaba vergleicht Flash-Next mit Qwen3.8-27B, DeepSeek-V4-Flash (der 0731-Checkpoint) und Claude Opus 4.6 (Max).

Die Zeilen für agentisches Coding auf dieser Karte nutzten Temperatur 1.0, top_p 0.95 und ein 256K-Fenster. DeepSWE berichtet den höheren Wert der Claude-Code- und mini-SWE-agent-Harnesses, und die Karte besagt, dass der höhere Score von Flash-Next auf mini-SWE-agent liegt. SWE-bench Pro hat die Baselines auf einem korrigierten Satz wiederholt; die Zelle von Claude Opus 4.6 ist der vom Hersteller veröffentlichte Score, und die anderen Zellen sind Claude Code.

Zwei Zeilen auf derselben Karte verlaufen in die andere Richtung. NL2Repo-Bench liegt bei 48,1 für Flash-Next und 54,2 für DeepSeek-V4-Flash. HLE, bewertet von GPT-4o, liegt bei 35,9 gegenüber Claude Opus 4.6 (Max) bei 40,0.

Für Agenten-Arbeit sind die Standardeinstellungen der Karte preserve_thinking auf, damit die Reasoning-Spur über Runden hinweg bleibt, und reasoning_effort auf xhigh. Die anderen Stufen sind medium und low. Die [Qwen-4-Familien-Seite](https://www.glukhov.org/de/ai-models/families/qwen-4/ „Qwen 4: Was Alibaba bestätigt hat, die 27B-Leiter und was Flash-Next vorwegnimmt.“) verfolgt, was Alibaba zu dieser Linie bestätigt hat, einschließlich der Qwen Community License 1.0 für diese Gewichte. Die Tabelle oben ist der Teil, der heute messbar ist.

Quantisierung-Builds und Größen

ISTA-DASLab GSQ-RCO

Die ISTA-DASLab GSQ-RCO GGUFs verwenden nicht uniforme Quantisierung. GSQ ist Low-Bit-Scalar-Quantisierung pro Tensor, und RCO weist einen Typ pro Tensor innerhalb eines Größenbudgets zu. Die Methode verbringt fast die gesamte Kompression auf den gerouteten Experten, die 95 % der durchsuchbaren Gewichte ausmachen. Jeder Build besteht aus zwei Shards. Das zweite ist die n-Gramm-Tabelle mit etwa 4,5 Bits pro Gewicht, und es kann von der Festplatte gemappt werden.

Diese GPQA-Zahlen sind von der Harness von ISTA, nicht die 91,7 auf der Karte von Alibaba. Eine Coder-Variante behält 256 der 512 gerouteten Experten pro Schicht, bei 58,4 GB und 1,89 effektiven Bits pro Gewicht. Ein 0,91 GB BF16 Vision-Projektor ist der multimodale Add-on. Die ISTA-Linie endet bei IQ3_S; es hat keinen Q4-Build.

Unsloth-Packs in Strata 0.2.11

Am 04.11.2026 haben Unsloth ihre Qwen3.8-Flash-Next-GGUFs als Dynamic v3.1 neu hochgeladen. Die Release-Notizen zu 0.2.11 besagen, dass Strata sieben davon von der App aus, aus strata launch --family unsloth oder aus einem Ordner, den man schon hat, herunterladen, vorbereiten und ausführen kann. Jede Datei wird per Größe und SHA-256 gegen die Unsloth-Revision d9620119 geprüft. Die letzte Datei jedes Satzes ist die 28,8 GB große pro-Token-Tabelle. Sätze, die eine Tabelle teilen, teilen die Datei: UD-IQ1_M mit UD-IQ2_XS, und UD-IQ3_XXS mit UD-IQ4_XS-v31.

UD-IQ4_XS-v31 ist eine andere Datei als das UD-IQ4_XS, das Strata bereits angeboten hat: andere Tensortypen, vier Dateien statt drei. UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL und Q8_0 bleiben bei den Dateien vom 30.09.2026. Das UD-Q4_K_XL vom 04.11. ist dieselben Gewichte in einer Vier-Datei-Aufteilung, und Strata akzeptiert diese Aufteilung, wenn man sie schon hat. UD-IQ1_S lädt nicht – eine Schicht mischt zwei Expertenformate – daher ist UD-IQ1_M die 1-Bit-Wahl.

UD-IQ4_XS-v31 verwendet das Q5_0-Expertenformat in 33 Schichten. Dieselben Notizen besagen, dass die Q5_0-Mathematik von Strata 1,2–1,3 % vom exakten Ergebnis abweicht, gegenüber 2,6–3,0 % für die Formel von llama.cpp bei diesen Tensoren. Auf einem Mac schreibt die App die Experten vor dem ersten Start in eine einzelne GPU-Datei um, daher ist das Disk-Budget der Download plus diese Datei plus ein paar Gigabyte (etwa 115 GB für UD-IQ1_M).

Wenn die 28,8 GB große Tabelle gemappt bleibt, ist der Rest von UD-IQ4_XS-v31 etwa 64,9 GB vor dem KV-Cache, was bereits über einem 64-GB-System unter Stratas Pinning-Regel liegt. Der Rest von UD-IQ1_M ist etwa 39,2 GB. Diese Datei kann dorthin passen, wohin IQ3_S nicht kann, und es ist ein 1-Bit-Pack, weiter entfernt vom Tool-Aufruf-Verhalten, das unten bei 3 Bits gemessen wird.

Schnellstart: Installation, Start und Erstausführung-Einrichtung

Ein Linux-Desktop benötigt eine RTX-20/30/40/50-Karte oder eine andere vom Projekt auflistete GPU, genug RAM für das gewählte Pack plus KV-Cache-Spielraum und SSD-Platz für den Download. CUDA-13-Engine-Pakete benötigen Treiber 580 oder neuer.

Installation im Terminal:

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch

strata launch fragt nach dem Modell, der Quantisierung, dem Kontext, dem Speicherordner und den Zugriffseinstellungen, lädt die Engine für die Karte herunter, startet den Server und zeigt einen Monitor mit Geschwindigkeit, Speicher und Anfragedaten. Der Standard-Endpunkt ist http://127.0.0.1:8080.

Um zu sehen, was vor einem 76-GB-Download passt, oder um ohne die Prompts zu starten:

strata launch --family qwen --model q2_0 --plan      # Trockenlauf: was fehlt, was passt
strata launch --family qwen --model q2_0 --yes --no-tui   # Im Hintergrund starten
strata launch --status
strata connect    # Gibt die Konfiguration für Claude Code / OpenCode / Hermes / OpenClaw / ... aus
strata launch --stop

Diese --family qwen --model q2_0-Flags sind der Trockenlauf für den ISTA-Q2_0-Build auf Ubuntu 26.04. Unsloth-Packs verwenden --family unsloth und den Namen aus der Tabelle oben. strata connect gibt einen Provider-Block pro Tool aus. Beide API-Formate verwenden eine OpenAI-kompatible Basis-URL (http://127.0.0.1:8080/v1) und den von Launch ausgegebenen Modellnamen. Jeder Client, der einen custom OpenAI-kompatiblen Endpunkt akzeptiert, einschließlich Cursor, verwendet dieses Paar.

Zwei Einstellungen bei der Erstausführung prüfen

1. Sampling. In 0.2.11 folgt eine Pack-Konfiguration ohne sampling-Block der Modellkarte. Denking-Anfragen erhalten Temperatur 1.0, top_p 0.95 und top_k 20. Nicht-Denking-Anfragen erhalten 0,7, 0,8 und 20, mit presence_penalty 1,5. Die Priorität ist die Anfrage, dann die Chat-Einstellungen der Web-UI, dann der Konfigurationsblock, dann die Karte. Temperatur 0 gilt nur, wenn die Anfrage oder der Block es setzt, und diese gierigen Läufe sind die, die bei diesem Checkpoint in Wiederholungs-Schleifen gerieten. Wenn eine ältere Pack-Konfiguration immer noch "sampling": {"temperature": 0} enthält, ersetzen Sie es mit dem Denking-Preset der Karte.

2. tool_call_recovery. Der Schlüssel befindet sich in der Modell-Laufkonfiguration (strata-*.json). Er ist seit 0.2.8 standardmäßig an, und in 0.2.7 und früher aus. Die Engine-Notizen von Strata, unter Bezugnahme auf 1.462 Agenten-Runden, berichten, dass 98,3 % der Aufrufe mit dem Schalter wie beabsichtigt gelesen wurden und 92,9 % ohne. Er akzeptiert vier Formen eines Aufrufs, dessen Name in der Anfrage war: ein <parameter=NAME>-Tag, JSON in <tool_call>, ein <function=NAME>-Block ohne <tool_call>-Wrapper und einen zweiten Aufruf innerhalb eines <tool_call>. Ein nicht deklarierte Name oder zerbrochenes JSON bleibt Text. Bei 0.2.7 und früher setzen Sie "tool_call_recovery": true. Lassen Sie den Standard von 0.2.11 für Agenten-Arbeit an.

Den Server auf localhost behalten

Der Server bindet standardmäßig an localhost, und die Zugriffseinstellungen sind Teil von strata launch. Die Endpunkte exponieren das Modell und das Gespräch auf diesem Rechner, und sie wurden nicht für ein offenes Netz gebaut. Wenn ein anderer Rechner sie benötigt, stellen Sie einen authentifizierten Reverse-Proxy vor den Port.

ss -ltnp | grep :8080    # Bestätigen, dass der Listener 127.0.0.1 ist, nicht 0.0.0.0
curl -s http://127.0.0.1:8080/v1/models   # Der Server antwortet auf localhost

Karten mit 13 GB VRAM oder weniger

STRATA_ROUTE_PRIOR=1.5 sagt dem Router, Experten zu bevorzugen, die bereits auf der Karte sind. Die Notizen von Strata für eine RTX 3060 12 GB, die IQ3_XXS ausführt, berichten +15 % bei Story-Decode und +37 % bei Code-Decode gegenüber dem ausgeschalteten Prior, und weniger bestanden Agenten-Aufgaben: 4,5 von 10 im Durchschnitt über 4 Läufe, gegenüber 5,6 über 7 Läufe mit ausgeschaltetem Prior. Version 0.2.7 schaltete 1,5 von selbst für diskrete NVIDIA-Karten von 13 GiB oder weniger ein. Version 0.2.8 schaltete das am 29.10.2026 wieder aus, nach Wiederholungen und schwächeren langen Agenten-Sitzungen (Issue #4402). Mit ungesetztem Wert routet 0.2.11 wie 0.2.6. Das Projekt zeigt den Prior auf Chat und kurze Antworten auf einer 12-GB-Karte, und weg von langen Agenten-Läufen.

Testbank: Ein 64-GB-Desktop, der einen Agenten ausführt

Die gemessene Maschine:

Mit ISTA IQ3_XXS ist das residente Shard 47 GB. Weil die Experten gepinnt sind, bleiben etwa 9 GB für alles andere. Die Hermes-VM – der Agenten-Stack in der [Hermes-Produktionseinrichtung](https://www.glukhov.org/de/ai-systems/hermes/production-setup/ „Hermes-Produktionseinrichtung: Profile, Skills und der lokale Agenten-Stack.“) – plus Cursor lässt etwa 5 GB übrig, was nicht genug Seiten-Cache oder KV-Cache für eine lange Agenten-Sitzung ist.

ISTA IQ3_S passt nicht auf diese Maschine als Alltags-Desktop. Das 54,8 GB große residente Shard plus die 28,8 GB große gemappte n-Gramm-Tabelle nutzen die 64 GB. Mit laufendem Cursor bleiben 3 GB frei, und die Hermes-VM hat keinen Platz.

IQ3_S dekodierte mit 100–130 Token/s, derselben Geschwindigkeitsklasse wie ein 27B-Build auf llama.cpp mit MTP 3 in dem [Qwen-3.6-MTP-Vergleich](https://www.glukhov.org/de/llm-performance/benchmarks/comparing-qwen-3-6-mtp-vs-standard/ „Qwen 3.6 MTP vs. Standard-Dekodierung auf einer 16-GB-GPU: Token-Geschwindigkeit, VRAM und Entwurfslänge.“). Das Pack, das ins RAM-Budget passt (IQ3_XXS), ist das, das das Tool-Aufruf-Format verfehlt. Das Pack, das ISTA empfiehlt (IQ3_S), lässt keinen Raum für den Rest des Desktops.

Bei IQ3_XXS emittierte das Modell fehlerhafte Tool-Aufruf-Argumente, erfand Tool-Namen, die nicht im Schema waren, und stellte denselben Befehl drei- bis fünfmal nach einem kurzen Denking-Block aus. Die Harness behandelt jeden Fehler als Retry, daher füllt sich die Sitzung mit demselben Fehler. Auf dieser Hardware ist IQ3_XXS kein Agenten-Modell.

Was die Community berichtet

Geschwindigkeitsberichte für Qwen3.8-Flash-Next auf Strata, aus Issue-Threads und den 0.2.11-Notizen:

Drei Fehlermodi sind für Low-Bit-Qwen3.8-Flash-Next in Agenten-Workloads ausgearbeitet.

1. Verdrehte Tool-Aufruf-Emission, die der Schema-Größe folgt. Issue #1431 berichtet, dass IQ3_XXS auf Strata 0.1.40 mit 39 Funktionsschemas (etwa 12K Token) und einem 6K-System-Prompt in etwa 30–50 % von über 20 kontrollierten Wiedergaben eine nutzbare Runde produzierte. Das Modell emittierte entweder eine Tool-Aufruf-Form, die der Parser nicht abbilden konnte – der Text landete in content mit finish_reason: stop – oder schloss den Denking-Block und emittierte Sequenzende ohne Aufruf und ohne Antwort. Dieselben Gewichte auf llama.cpp parsten Tool-Aufrufe in allen über 8 aufeinanderfolgenden Läufen. llama.cpp contraint die Emission mit einer PEG-Grammatik und hebt verzerrten Inhalt zurück in tool_calls. Ein Wrapper, der den Text danach reparierte, drückte die Rate der nützlichen Runden nicht über das 30–50 % -Band, weil die Reparatur nach der Token-Auswahl läuft.

2. Konfigurationsfehler und ein nicht deterministischer Experten-Pfad. Issue #2685 berichtet eine RTX 5070, IQ3_S und 60 GB RAM, mit Tool-Aufrufen, die über Strata fehlschlugen: fehlerhafte Argumente, halluzinierte Tools und Retry-Schleifen, einschließlich nach dem Einschalten eines Sampling-Blocks und tool_call_recovery. Dieselbe Quantisierung über llama serve gelang in 5 von 5 Läufen derselben Harness. Der Reporter stellte fest, dass identische Seeds im MMQ-Experten-Pfad während des Prefills divergierten, und dass das Deaktivieren dieses Pfades die Läufe bit-identisch machte. Strata 0.1.44 brachte Determinismus-Fixes. Spätere Berichte zeigen immer noch nicht, dass Strata llama.cpp bei derselben Quantisierung gleichkommt.

3. Tool-Aufrufe, die im Denking-Block bleiben. Issue #804 berichtet, dass ein kompletter Tool-Aufruf in einem nicht geschlossenen think-Block als reasoning_content zurückkommt, mit leerem content und keinen tool_calls, und die Agenten-Schleife stoppt. Ein Benutzer zählte etwa 1 von 100 Antworten über rund 1.300 reale Agenten-Antworten, unter Verwendung von Hermes mit IQ3_XXS, IQ2_XS und den Coder-Builds.

Warum Sub-Q4 agentische Tool-Aufrufe bricht

Ein Tool-Aufruf muss ein Drahtformat treffen. Bei 3 Bits verfehlt dieses 125B-Modell dieses Format in einigen Runden, und die Fehler nehmen mit dem Tool-Schema-Kontext zu. Ein größeres Schema verlangt mehr vom Arbeitsgedächtnis, das den Aufruf formatiert, und Quantisierungsrauschen landet auf dieser Formatierung. Chat-Runden verstecken es. Agenten-Runden, die hauptsächlich Tool-Aufrufe sind, tun es nicht.

Derselbe Kompressionsschaden tut weh, wenn wenige Parameter aktiv sind. Der [Lokale-LLM-Vergleich für OpenCode](https://www.glukhov.org/de/ai-devtools/opencode/llms-comparison/ „Beste LLMs für OpenCode: Lokale Ollama- und llama.cpp-Modelle gegen eine Migrationskarten-Aufgabe.“) maß ein dichtes 27B bei IQ3_XXS mit etwa 5 % Fehlerrate bei einer strukturierten Agenten-Aufgabe. Low-aktive MoE-Checkpoint bei ähnlichen Bitbreiten schlugen härter durch: Die 35B-A3B hatte 64,2 % Fehler bei IQ3_S und 98,8 % bei IQ4_XS, und die 122B-A10B hatte 80 % Fehler bei IQ3_S und 90 % bei IQ3_XXS. Qwen3.8-Flash-Next aktiviert 6 Mrd. Parameter pro Token, daher verhält sich ein 3-Bit-Pack wie ein kleines Modell bei schwerer Quantisierung. Diese OpenCode-Läufe zeigen, dass IQ3 und IQ4 die strukturierte Aufgabe für die 35B-A3B und die 122B-A10B verfehlen; sie enthalten keinen Q5-Lauf von Flash-Next. Stratas UD-IQ4_XS-v31 ist seit 0.2.11 herunterladbar, hat keinen Agenten-Aufgaben-Vergleich in den hier geprüften Quellen und passt nicht in die 64-GB-Kiste.

Die selben GSQ-RCO-Gewichte fehlschlagen, wenn sie in llama.cpp und in Ollama geladen werden. [llama.cpp](https://www.glukhov.org/de/llm-hosting/llama-cpp/ „llama.cpp-Schnellstart: llama-cli, llama-server und die Flags, die ein GGUF platzieren.“) contraint die Emission immer noch mit einer Grammatik und kann einen verzerrten Span zurück in tool_calls heben, sodass der Client einen Aufruf statt einer zerbrochenen Zeichenfolge sieht. Stratas JSON-Modus, in den Engine-Notizen, ist Schema-Prompting plus eine Prüfung nach der Generierung, nicht grammatik-constrainte Dekodierung: ein schlechtes Objekt gibt HTTP 502 mit structured_output_failed zurück. tool_call_recovery und die späteren Releases reparieren die oben aufgeführten vier Formen. Sie ändern nicht die Verteilung, aus der das Modell sampelt, was der Grund ist, warum der Wrapper von Issue #1431 die Emissionsrate nicht übersteigen konnte.

Strata gibt RAM aus, um CPU und GPU im Takt zu halten. Bei 64 GB ist das größte ISTA-Pack, das immer noch Raum für einen Desktop und eine Agenten-VM lässt, IQ3_XXS, und dieses Pack liegt unter der hier gemessenen Emissions-Schwelle. IQ3_S dekodiert bereits im selben Band wie ein 27B-Modell mit MTP 3, daher ist die Grenze für dieses Pack der RAM. Ein llama.cpp-Lauf mit einem lazy Map würde weniger RAM commiten und die Dekodiergeschwindigkeit opfern, die Strata das schnellere der beiden bei diesem Modell macht.

Urteil

Qwen 2.8 Flash Next übertrifft Qwen3.8-27B bei agentischen Benchmarks: DeepSWE 58,7 vs. 42,2, JobBench 55,7 vs. 33,4 und Toolathlon 73,5 vs. 67,1. Mehrschrittarbeit ist deutlich kompetenter. Pro-Token-Berechnung ist einem kleinen Modell näher als einem 125B-Modell.

Quantisierungen unter Q4 liefern keine zuverlässige Tool-Aufruf-Emission für agentische Arbeit, mit Fehlschlagraten, die auf beiden Strata und llama.cpp Retry-Schleifen produzieren. Q4-Leistung ist noch nicht durch kontrollierten Vergleich bei Agenten-Benchmarks bewiesen. Q5-Klasse-Quantisierungen sind der bewiesene Boden für zuverlässige agentische Arbeit; Unsloth UD-Q5_K_XL existiert, aber es fehlen veröffentlichte Benchmarks.

Ein Mac Studio mit M5 Max und 128 GB Unified Memory kann den 105-GB-MLX-Build oder ein Q4-Pack mit ausreichendem Spielraum für den Agenten-Stack halten. Die QFN-Architektur wurde für dieses Offloading-Modell designed.

Ich werde in meiner aktuellen Einrichtung ein NVFP4-27B-Modell verwenden – 17 GB auf der RTX 5090 – mit MTP 3. Es erzielt 100+ Token/s mit zuverlässigen Tool-Aufrufen und keinem RAM-Wettbewerb. Ich werde zu QFN zurückkehren, wenn eine Q4-Klasse-Quantisierung bei Agenten-Aufgaben benchmarkt wird, wenn Stratas Emissions-Wiederherellung reift oder wenn Hardware aktualisiert wird.

Referenzen

• Niko1221/Strata — die Inferenz-Engine in diesem Artikel. Das OSDI-2026-hierarchische-KV-Paper für SGLang ist ein anderes Projekt mit demselben Namen.
• Strata 0.2.11 Release-Notizen — Unsloth Dynamic v3.1 Packs, Q5_0 Mathematik und die oben zitierten Kurz-Prompt-Geschwindigkeiten.
• Engine-Notizen (docs/DETAILS.md) — Sampling-Priorität, tool_call_recovery und die Route-Prior-Messungen.
• Qwen/Qwen3.8-Flash-Next — Architektur, Sampling-Presets und die Benchmark-Tabelle.
• ISTA-DASLab Qwen3.8-Flash-Next GSQ-RCO GGUFs — die Q2- und IQ3-Builds in der Testbank.
• Issue #1431, Issue #2685, Issue #804 und Issue #4402 — die Fehlerberichte in den Community- und Small-Card-Sektionen.

Nützliche Links

• [Das beste LLM für Ollama auf einer 16-GB-VRAM-GPU wählen](https://www.glukhov.org/de/llm-performance/benchmarks/choosing-best-llm-for-ollama-on-16gb-vram-gpu/ „Dichte-Modell-Alternativen, wenn die Karte 16 GB hat und die Runtime Ollama ist.“) — dichte Modell-Alternativen, wenn die Karte die Grenze ist.
• [Ollama Spickzettel](https://www.glukhov.org/de/llm-hosting/ollama/ollama-cheatsheet/ „Ollama CLI Spickzettel: serve, run, ps und Modellverwaltung.“) — der andere lokale Server, in den dieselben GGUFs importiert werden können.