Локальный запуск Qwen3.8-Flash-Next с помощью Strata: быстрая настройка для 64 ГБ

Qwen3.8-Flash-Next (QFN) имеет 125 млрд общих параметров, 6 млрд активных на токен и нативное контекстное окно 256K. По умолчанию в ней включено мышление, и она демонстрирует наивысшие показатели агентского программирования в своем классе локальных моделей.

В этой статье описан процесс запуска 3-битной квантованной версии QFN на настольном ПК с 64 ГБ оперативной памяти и видеокартой RTX 5090 с использованием Strata, а также задокументировано, почему квантования ниже Q4 не обеспечивают надежных вызовов инструментов для агентских задач.

Ниже представлены команды установки, объемы RAM, которые фиксирует каждое квантование, а также сбои вызовов инструментов на настольном ПК с 64 ГБ. Показатели скорости и сбоев объединяют результаты тестирования на этой машине — RTX 5090, 64 ГБ RAM, Ubuntu 26.04 — с отчетами на трекере Strata и в заметках релиза 0.2.11.

Команды и параметры по умолчанию движка были проверены 06.11.2026 г. на версии Strata 0.2.11, когда репозиторий насчитывал 40 836 звезд, а пакеты движка были версии 0.1.57. Место этого рантайма относительно Ollama, llama.cpp и vLLM рассматривается в гайде по хостингу LLM.

Что такое Strata

Движок, используемый в этом стартовом руководстве, — это Niko1221/Strata, лицензированный под MIT. Другой проект, статья OSDI 2026 о иерархическом кэшировании KV для SGLang, использует то же имя. Strata строится на базе llama.cpp и ggml, и в репозитории есть описание в файле docs/paper/Strata-Paper.pdf. Он запускает Qwen3.8-Flash-Next на одном потребительском GPU, системной RAM и SSD. Тот же движок также обслуживает Qwen3.6-35B и DeepSeek V4.1-Flash.

У Qwen 3.8 Flash Next 24 576 маршрутизируемых экспертов в 48 слоях; каждый токен активирует 10 экспертов (всего 6 млрд активных параметров). Strata распределяет модель по трем уровням памяти, вместо требования, чтобы она целиком поместилась в один.

Блок параметров n-грамм на 51 млрд служит в качестве таблицы поиска на 20 млн записей, индексированной по биграммам и триграммам. Поскольку это поиск, а не матричное умножение, он может находиться на SSD с минимальными затратами времени выполнения.

Объем VRAM определяет ось масштабирования. Каждый дополнительный гигабайт VRAM помещает примерно 700 экспертов, и каждый закэшированный на GPU эксперт уменьшает вычисления на CPU. Медленная карта с большим объемом VRAM превосходит быструю карту с меньшим.

Объем RAM — жесткое ограничение, поскольку все эксперты должны быть закреплены для одновременных вычислений на CPU и GPU. Strata не поддерживает ленивое отображение памяти на диск. Размер загрузки и использование RAM практически идентичны для QFN.

Как формируется скорость декодирования

Три механизма обеспечивают скорость декодирования.

1. Предсказание нескольких токенов. Чекпоинт включает один слой MTP, обученный для многошаговых черновиков. Strata генерирует до 3 токенов черновика и проверяет их за один проход по всем 48 слоям — цикл «черновик-верификация» в гайде по спекулятивному декодированию. Проект измеряет среднее принятие на уровне 2,4–3,2 токенов за проход и сообщает об этом как об ускорении декодирования в 1,6–1,8 раза при том же выходе.

2. Поиск в промпте. Сервер извлекает до 5 токенов черновика из более ранних копий контекста, когда модель повторяет его, как в правке кода или цитировании. Проект сообщает об ускорении правок кода на 6–11%, а другой текст остается без изменений.

3. Чанкованная префилл (обработка промпта). Промпты поступают блоками до 8 192 токенов, а эксперты следующего слоя передаются по PCIe, пока внимание текущего слоя работает. Проект показывает, что прием длинных документов и кодовых баз превышает 1 000 токенов/с, а последующий запрос начинается в течение нескольких секунд, так как состояние разговора остается в памяти.

Сервер поставляется с локальным чат-интерфейсом, в виде настольного приложения или в терминале, плюс конечные точки, совместимые с OpenAI и Anthropic, на localhost. Claude Code, Codex CLI, OpenCode, Hermes Agent и OpenClaw подключаются через strata connect. Аппаратное обеспечение, указанное проектом: NVIDIA RTX 20/30/40/50 серии (пакеты движка CUDA 13 требуют драйвер 580 или новее), AMD Radeon на HIP, Intel Arc на Linux, Apple Silicon и AMD Strix Halo. Релиз 0.2.11 — это Strata-0.2.11-linux-x86_64.AppImage для настольного приложения; путь через терминал, описанный ниже, — тот, по которому проходит это стартовое руководство.

Бенчмарки QFN против локальных альтернатив

Карточка модели Alibaba сравнивает Flash-Next с Qwen3.8-27B, DeepSeek-V4-Flash (чекпоинт 0731) и Claude Opus 4.6 (Max).

Для строк агентского кодирования в этой карточке использовались температура 1.0, top_p 0.95 и окно 256K. DeepSWE сообщает более высокое значение из обвязок Claude Code и mini-SWE-agent, и в карточке указано, что более высокий балл Flash-Next — на mini-SWE-agent. SWE-bench Pro перепроверил базовые версии на исправленном наборе задач; ячейка Claude Opus 4.6 — опубликованный вендором балл, а остальные ячейки — результаты Claude Code.

Две строки в той же карточке идут в другую сторону. NL2Repo-Bench составляет 48.1 для Flash-Next и 54.2 для DeepSeek-V4-Flash. HLE, судимый GPT-4o, показывает 35.9 против 40.0 у Claude Opus 4.6 (Max).

Для агентской работы по умолчанию в карточке включен preserve_thinking, чтобы трассировка рассуждений сохранялась между ходами, и reasoning_effort на уровне xhigh. Другие уровни — medium и low. Страница семейства Qwen 4 отслеживает то, что Alibaba подтвердила об этой линейке, включая Лицензию сообщества Qwen 1.0 на этих весах. Таблица выше — та часть, которую можно измерить сегодня.

Сборы квантования и размеры

ISTA-DASLab GSQ-RCO

GGUF-файлы ISTA-DASLab GSQ-RCO используют нелинейное квантование. GSQ — это низкобитовое скалярное квантование на тензор, а RCO назначает тип на тензор в пределах бюджета размера. Метод тратит почти все сжатие на маршрутизируемые эксперты, которые составляют 95% искомых весов. Каждый сбор состоит из двух шардов. Второй — это таблица n-грамм примерно с 4,5 бита на вес, и его можно отображать с диска.

Эти показатели GPQA — из обвязки ISTA, а не 91.7 из карточки Alibaba. Вариант Coder сохраняет 256 из 512 маршрутизируемых экспертов на слой, размером 58,4 ГБ и 1,89 эффективных бит на вес. Визуальный проектор BF16 размером 0,91 ГБ — это мультимодальная надстройка. Линейка ISTA заканчивается на IQ3_S; у нее нет сбора Q4.

Пакеты Unsloth в Strata 0.2.11

04.11.2026 Unsloth повторно загрузил свои GGUF-файлы Qwen3.8-Flash-Next как Dynamic v3.1. Заметки релиза 0.2.11 говорят, что Strata может скачать, подготовить и запустить семь из них из приложения, из strata launch --family unsloth, или из папки, у вас уже есть. Каждый файл проверяется по размеру и SHA-256 относительно ревизии Unsloth d9620119. Последний файл каждого набора — это таблица на 28,8 ГБ на токен. Наборы, разделяющие таблицу, разделяют файл: UD-IQ1_M с UD-IQ2_XS, и UD-IQ3_XXS с UD-IQ4_XS-v31.

UD-IQ4_XS-v31 — другой файл, чем UD-IQ4_XS, который Strata уже предлагал: другие типы тензоров, четыре файла вместо трех. UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL и Q8_0 остаются на файлах от 30.09.2026. UD-Q4_K_XL от 04.11 — это те же веса, разделенные на четыре файла, и Strata принимает этот раздел, если у вас он уже есть. UD-IQ1_S не загружается — один слой смешивает два формата экспертов — поэтому UD-IQ1_M является выбором на 1 бит.

UD-IQ4_XS-v31 использует формат экспертов Q5_0 в 33 слоях. Те же заметки говорят, что математика Q5_0 в Strata отклоняется на 1,2–1,3% от точного результата, против 2,6–3,0% для формулы llama.cpp на этих тензорах. На Mac приложение перезаписывает эксперты в один файл GPU перед первым запуском, поэтому бюджет диска — это загрузка плюс этот файл плюс несколько гигабайт (около 115 ГБ для UD-IQ1_M).

Если таблица на 28,8 ГБ остается отображенной, остальная часть UD-IQ4_XS-v31 составляет около 64,9 ГБ до KV-кэша, что уже превышает машину с 64 ГБ согласно правилу закрепления Strata. Остаток UD-IQ1_M составляет около 39,2 ГБ. Этот файл может поместиться там, где IQ3_S не может, и это 1-битный пакет, дальше от поведения вызовов инструментов, измеренного ниже при 3 битах.

Быстрый старт: установка, запуск и настройка первого запуска

Настольный ПК на Linux требует карту RTX 20/30/40/50 серии или другой GPU из списка проекта, достаточно RAM для выбранного пакета плюс запас под KV-кэш, и место на SSD для загрузки. Пакеты движка CUDA 13 требуют драйвер 580 или новее.

Установка через терминал:

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch

strata launch запрашивает модель, квантование, контекст, папку хранения и настройки доступа, скачивает движок для карты, запускает сервер и показывает монитор со скоростью, памятью и данными запросов. Конечная точка по умолчанию — http://127.0.0.1:8080.

Чтобы увидеть, что поместится, до загрузки 76 ГБ, или чтобы начать без подсказок:

strata launch --family qwen --model q2_0 --plan      # сухой прогон: чего не хватает, что помещается
strata launch --family qwen --model q2_0 --yes --no-tui   # запуск в фоновом режиме
strata launch --status
strata connect    # печатает конфигурацию для Claude Code / OpenCode / Hermes / OpenClaw / ...
strata launch --stop

Флаги --family qwen --model q2_0 — это сухой прогон, использованный для сбора ISTA Q2_0 на Ubuntu 26.04. Пакеты Unsloth используют --family unsloth и имя из таблицы выше. strata connect печатает блок провайдера для каждого инструмента. Обе формы API используют URL базовой точки, совместимой с OpenAI (http://127.0.0.1:8080/v1), и имя модели, которое печатает запуск. Любой клиент, принимающий пользовательскую конечную точку, совместимую с OpenAI, включая Cursor, использует эту пару.

Два параметра для проверки при первом запуске

1. Выборка (Sampling). В 0.2.11 конфигурация пакета без блока sampling следует карточке модели. Запросы с мышлением получают температуру 1.0, top_p 0.95 и top_k 20. Запросы без мышления получают 0.7, 0.8 и 20, с presence_penalty 1.5. Приоритет: запрос, затем настройки Чата в веб-интерфейсе, затем блок конфигурации, затем карточка. Температура 0 применяется только когда запрос или блок ее устанавливают, и именно эти жадные прогоны попали в циклы повторения на этом чекпоинте. Если старая конфигурация пакета все еще содержит "sampling": {"temperature": 0}, замените ее пресетом мышления из карточки.

2. tool_call_recovery. Ключ находится в конфигурации запуска модели (strata-*.json). Он включен по умолчанию начиная с 0.2.8, и выключен в 0.2.7 и более ранних. Заметки движка Strata, ссылаясь на 1 462 ходов агента, сообщают о 98,3% вызовов, прочитанных как задумано с включенным переключателем, и 92,9% без него. Он принимает четыре формы вызова, чье имя было в запросе: тег <parameter=NAME>, JSON внутри <tool_call>, блок <function=NAME> без обертки <tool_call>, и второй вызов внутри одного <tool_call>. Недекларированное имя или сломанный JSON остаются текстом. В 0.2.7 и более ранних установите "tool_call_recovery": true. Оставьте значение по умолчанию 0.2.11 включенным для агентской работы.

Держите сервер на localhost

Сервер привязывается к localhost по умолчанию, и настройки доступа являются частью strata launch. Конечные точки раскрывают модель и разговор на этой машине, и они не были построены для открытой сети. Когда другая машина нуждается в них, поставьте аутентифицированный обратный прокси перед портом.

ss -ltnp | grep :8080    # подтвердите, что слушатель — 127.0.0.1, а не 0.0.0.0
curl -s http://127.0.0.1:8080/v1/models   # сервер отвечает на localhost

Карточки с 13 ГБ VRAM или менее

STRATA_ROUTE_PRIOR=1.5 говорит маршрутизатору предпочитать экспертов, уже находящихся на карте. Заметки Strata для RTX 3060 12 ГБ, запускающей IQ3_XXS, сообщают о +15% при декодировании истории и +37% при декодировании кода против оставленного выключенным приоритета, и меньшее количество прошедших агентских задач: в среднем 4.5 из 10 за 4 запуска, против 5.6 за 7 запусков с выключенным приоритетом. Версия 0.2.7 сама включила 1.5 для дискретных карт NVIDIA с 13 ГиБ или менее. Версия 0.2.8 выключила это обратно 29.10.2026 г., после повторений и более слабых длинных агентских сессий (проблема #4402). Когда переменная не установлена, 0.2.11 маршрутизирует так же, как 0.2.6. Проект указывает приоритет на чат и короткие ответы на карте с 12 ГБ, и от длинных агентских прогонов.

Испытательный стенд: Настольный ПК с 64 ГБ, запускающий агента

Измеряемая коробка:

С ISTA IQ3_XXS резидентный шард составляет 47 ГБ. Поскольку эксперты закреплены, остается около 9 ГБ для всего остального. ВМ Hermes — агентный стек в боевой настройке Hermes — плюс Cursor оставляет около 5 ГБ, чего недостаточно для кэша страниц или KV-кэша для длинной агентской сессии.

ISTA IQ3_S не помещается в эту машину как ежедневный рабочий стол. Резидентный шард 54,8 ГБ плюс отображенная n-граммная таблица 28,8 ГБ используют 64 ГБ. С работающим Cursor остается 3 ГБ свободно, и ВМ Hermes некуда деаться.

IQ3_S декодировал со скоростью 100–130 токенов/с, тот же класс скорости, что и сбор 27B на llama.cpp с MTP 3 в сравнении Qwen 3.6 MTP. Пакет, который помещается в бюджет RAM (IQ3_XXS), — это тот, который промахивается в формате вызова инструмента. Пакет, рекомендуемый ISTA (IQ3_S), не оставляет места для остального рабочего стола.

На IQ3_XXS модель выдавала некорректные аргументы вызовов инструментов, выдумывала имена инструментов, которых не было в схеме, и повторно отправляла ту же команду три-пять раз после короткого блока мышления. Обвязка считает каждый промах повторной попыткой, поэтому сессия заполняется той же ошибкой. На этом аппаратном обеспечении IQ3_XXS — не агентская модель.

Что сообщает сообщество

Скоростные отчеты по Qwen3.8-Flash-Next на Strata, из тредов проблем и заметок 0.2.11:

Три режима отказа описаны для низкобитового Qwen3.8-Flash-Next в агентских нагрузках.

1. Искаженное эмиссирование вызовов инструментов, отслеживающее размер схемы. Проблема #1431 сообщает, что при 39 схемах функций (около 12K токенов) и системном промпте 6K, IQ3_XXS на Strata 0.1.40 производил полезный ход примерно в 30–50% из более чем 20 контролируемых воспроизведений. Модель либо выдавала форму вызова инструмента, которую парсер не мог сопоставить — текст попадал в content с finish_reason: stop — либо закрывала блок мышления и выдавала конец последовательности без вызова и без ответа. Те же веса на llama.cpp парсили вызовы инструментов во всех 8+ последовательных запусках. llama.cpp ограничивает эмиссию грамматикой PEG и поднимает искаженный контент обратно в tool_calls. Обертка, чинившая текст постфактум, не подняла скорость полезных ходов выше полосы 30–50%, потому что починка происходит после того, как токены уже выбраны.

2. Ошибки конфигурации и недетерминированный путь экспертов. Проблема #2685 сообщает об RTX 5070, IQ3_S и 60 ГБ RAM, с падающими вызовами инструментов через Strata: некорректные аргументы, галлюцинированные инструменты и циклы повторных попыток, включая после включения блока выборки и tool_call_recovery. То же квантование через llama serve удавалось в 5 из 5 запусков той же обвязки. Репортер обнаружил, что идентичные зернышки расходились в пути экспертов MMQ во время префилла, и что отключение этого пути делало запуски бит-идентичными. Strata 0.1.44 включила исправления детерминизма. Более поздние отчеты все еще не показывают, что Strata соответствует llama.cpp на том же квантовании.

3. Вызовы инструментов внутри блока мышления. Проблема #804 сообщает, что полный вызов инструмента внутри незакрытого блока think возвращается как reasoning_content, с пустым content и без tool_calls, и агентный цикл останавливается. Один пользователь насчитал примерно 1 из 100 ответов примерно за 1 300 реальных агентских ответов, используя Hermes с IQ3_XXS, IQ2_XS и сборами Coder.

Почему суб-Q4 ломает агентские вызовы инструментов

Вызов инструмента должен соответствовать формату провода (wire format). При 3 битах эта модель на 125 млрд промахивается в этом формате на некоторых ходах, и промахи растут с контекстом схемы инструментов. Более крупная схема требует больше от рабочей памяти, форматирующей вызов, и шум квантования попадает на эту форматировку. Чат-ходы маскируют это. Агентские ходы, которые в основном состоят из вызовов инструментов, — нет.

То же сжатие вредит сильнее, когда мало активных параметров. Сравнение локальных LLM для OpenCode измерило плотную 27B на IQ3_XXS с ошибкой примерно 5% на структурированной агентской задаче. Checkpoints MoE с низкой активностью на похожих битовых ширинах падали сильнее: 35B-A3B имел 64,2% ошибок на IQ3_S и 98,8% на IQ4_XS, а 122B-A10B имел 80% ошибок на IQ3_S и 90% на IQ3_XXS. Qwen3.8-Flash-Next активирует 6 млрд параметров на токен, поэтому 3-битный пакет ведет себя как маленькая модель на тяжелом квантовании. Эти прогоны OpenCode показывают, что IQ3 и IQ4 промахиваются в структурированной задаче для 35B-A3B и 122B-A10B; они не включают прогон Q5 для Flash-Next. UD-IQ4_XS-v31 от Strata доступен для загрузки с 0.2.11, не имеет сравнения задач агента в проверенных здесь источниках и не помещается в коробку с 64 ГБ.

Те же веса GSQ-RCO падают, когда они загружены в llama.cpp и в Ollama. llama.cpp все еще ограничивает эмиссию грамматикой и может поднять искаженный фрагмент обратно в tool_calls, поэтому клиент видит вызов вместо сломанной строки. Режим JSON Strata, в заметках движка, — это промптинг схемы плюс проверка после генерации, а не декодирование с ограничением грамматикой: плохой объект возвращает HTTP 502 с structured_output_failed. tool_call_recovery и более поздние релизы чинят четыре формы, перечисленные выше. Они не меняют распределение, из которого модель сэмплирует, поэтому обертка из проблемы #1431 не могла взобраться выше скорости эмиссии.

Strata тратит RAM, чтобы держать CPU и GPU в такте. На 64 ГБ самый крупный пакет ISTA, который все еще оставляет место для рабочего стола и ВМ агента, — это IQ3_XXS, и этот пакет ниже порога эмиссии, измеренного здесь. IQ3_S уже декодирует в той же полосе, что и модель 27B с MTP 3, поэтому ограничение для этого пакета — RAM. Прогон llama.cpp с ленивым отображением закоммитил бы меньше RAM и отказался бы от скорости декодирования, которая делает Strata более быстрым из двух на этой модели.

Вердикт

Qwen 2.8 Flash Next превосходит Qwen3.8-27B на агентских бенчмарках: DeepSWE 58.7 против 42.2, JobBench 55.7 против 33.4, и Toolathlon 73.5 против 67.1. Многошаговая работа заметно более компетентна. Вычисления на токен ближе к маленькой модели, чем к модели на 125 млрд.

Квантования ниже Q4 не обеспечивают надежной эмиссии вызовов инструментов для агентской работы, падая с частотой, которая производит циклы повторных попыток на обоих Strata и llama.cpp. Производительность Q4 еще не доказана через контролируемое сравнение на агентских бенчмарках. Кванты класса Q5 — доказанный порог для надежной агентской работы; Unsloth UD-Q5_K_XL существует, но не имеет опубликованных бенчмарков.

Mac Studio с M5 Max и 128 ГБ объединенной памяти может удержать сбор MLX на 105 ГБ или пакет Q4 с достаточным запасом для агентного стека. Архитектура QFN была спроектирована для этой модели выгрузки.

Я продолжу использовать в моей текущей настройке модель NVFP4 27B — 17 ГБ на RTX 5090 — с MTP 3. Она достигает 100+ токенов/с с надежными вызовами инструментов и без конкуренции за RAM. Я вернусь к QFN, когда квант класса Q4 будет проверен на агентских задачах, когда восстановление эмиссии в Strata созреет, или когда оборудование будет обновлено.

Ссылки

• Niko1221/Strata — движок вывода в этой статье. Статья OSDI 2026 об иерархическом KV для SGLang — это другой проект с тем же именем.
• Заметки релиза Strata 0.2.11 — пакеты Unsloth Dynamic v3.1, математика Q5_0 и скорости коротких промптов, цитируемые выше.
• Заметки движка (docs/DETAILS.md) — приоритет выборки, tool_call_recovery и измерения маршрутного приоритета.
• Qwen/Qwen3.8-Flash-Next — архитектура, пресеты выборки и таблица бенчмарков.
• ISTA-DASLab Qwen3.8-Flash-Next GSQ-RCO GGUFs — сборы Q2 и IQ3 в испытательном стенде.
• Проблема #1431, проблема #2685, проблема #804, и проблема #4402 — отчеты о сбоях в разделах сообщества и малых карт.

Полезные ссылки

• Выбор лучшего LLM для Ollama на GPU с 16 ГБ VRAM — альтернативы плотных моделей, когда карта является ограничением.
• [Шпаргалка по Ollama](https://www.glukhov.org/ru/llm-hosting/ollama/ollama-cheatsheet/ “Шпаргалка по CLI Ollama: serve, run, ps и управление моделями.”}) — другой локальный сервер, в который можно импортировать те же GGUF.