Производительность LLM в 2026 году: эталонные тесты, узкие места и оптимизация
Производительность LLM связана не только с наличием мощного GPU. Скорость инференса, задержка и экономическая эффективность зависят от ограничений во всем стеке:
- Размер модели и квантование
- Объем VRAM и пропускная способность памяти
- Длина контекста и размер промпта
- Планирование времени выполнения и батчинг
- Загрузка ядер CPU
- Топология системы (линии PCIe, NUMA и т. д.)
Этот раздел организует углубленный анализ поведения крупных языковых моделей при реальных нагрузках — и способы их оптимизации.
Что такое производительность LLM на самом деле
Производительность — понятие многомерное.
Пропускная способность против задержки
- Пропускная способность = токены в секунду при множественных запросах
- Задержка = время до первого токена + общее время ответа
Большинству реальных систем необходимо балансировать оба показателя.
Порядок ограничений
На практике узкие места обычно появляются в следующем порядке:
- Объем VRAM
- Пропускная способность памяти
- Планирование времени выполнения
- Размер контекстного окна
- Накладные расходы CPU
Понимание того, какое именно ограничение вы достигли, важнее, чем просто «апгрейд железа».
Производительность среды выполнения Ollama
Ollama широко используется для локального инференса. Понимание его поведения под нагрузкой критически важно.
Планирование ядер CPU
Обработка параллельных запросов
Поведение выделения памяти
Проблемы времени выполнения при структурированном выводе
Аппаратные ограничения, которые имеют значение
Не все проблемы с производительностью связаны с вычислительной мощностью GPU.
Влияние PCIe и топологии
Тренды специализированных вычислений
Бенчмарки и сравнение моделей
Бенчмарки должны отвечать на вопрос принятия решения.
Сравнение аппаратных платформ
Тестирование VRAM на 16 ГБ в реальных условиях
Потребительские GPU с 16 ГБ VRAM являются распространенной критической точкой для размещения модели, размера кэша KV и того, остаются ли слои на устройстве. В нижеприведенных постах рассматривается одно и то же класс оборудования, но разные стеки — среда выполнения Ollama против llama.cpp с явным перебором контекста — поэтому вы можете разделить эффекты «планировщика и упаковки» на чистую пропускную способность и запас VRAM.
- Выбор лучшей LLM для Ollama на GPU с 16 ГБ VRAM
- Бенчмарки LLM на 16 ГБ VRAM с llama.cpp (скорость и контекст)
Бенчмарки скорости и качества моделей
- Параметры агентного инференса — Qwen и Gemma
- Qwen3 30B против GPT-OSS 20B
- Gemma2 против Qwen2 против Mistral Nemo 12B
- Mistral Small против Gemma2 против Qwen2.5 против Mistral Nemo
Структурированные выводы и валидация
Стресс-тесты возможностей
Плейбук оптимизации
Настройка производительности должна быть постепенной.
Шаг 1 — Убедитесь, что модель помещается
- Уменьшите размер модели
- Используйте квантование
- Ограничьте окно контекста
Шаг 2 — Стабилизация задержки
- Снизьте стоимость префиллинга (prefill cost)
- Избегайте ненужных повторных попыток
- Валидируйте структурированные выводы на раннем этапе
Шаг 3 — Увеличение пропускной способности
- Увеличьте размер батча
- Настройте конкурентность
- Используйте среды выполнения, ориентированные на сервинг, при необходимости
Если вашим узким местом является стратегия хостинга, а не поведение среды выполнения, см.:
Часто задаваемые вопросы
Почему моя LLM медленная, даже на мощном GPU?
Часто дело в пропускной способности памяти, длине контекста или планировании времени выполнения — а не в чистой вычислительной мощности.
Что важнее: объем VRAM или модель GPU?
Объем VRAM обычно является первым жестким ограничением. Если модель не помещается, остальное не имеет значения.
Почему производительность падает при конкурентности?
Очержи, конкуренция за ресурсы и ограничения планировщика вызывают кривые деградации.
Финальные мысли
Производительность LLM — это инженерия, а не гадание.
Измеряйте целенаправленно.
Понимайте ограничения.
Оптимизируйте, исходя из узких мест, а не из предположений.
