Запуск и замена моделей LLM без перезагрузки.
Долгое время у llama.cpp была явная ограничение:
можно было обслуживать только одну модель на процесс, и для переключения требовался перезапуск.
Запускайте открытые модели быстро с помощью SGLang.
SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.
Горячая замена локальных LLM без изменения клиентов.
Вскоре вы будете жонглировать vLLM, llama.cpp и другими решениями — каждый стек на своем порту. Все downstream-системы все еще хотят один базовый URL /v1; иначе вы постоянно переставляете порты, профили и одноразовые скрипты. llama-swap — это прокси /v1 перед этими стеками.
Установка, настройка и использование OpenCode
Я постоянно возвращаюсь к llama.cpp для локального инференса — он дает контроль, который скрывают Ollama и другие решения, и просто работает. Легко запускать модели GGUF интерактивно через llama-cli или предоставлять совместимый с OpenAI HTTP-интерфейс через llama-server.
