Запуск и замена LLM без перезапуска.
Долгое время llama.cpp страдал от очевидного ограничения:
вы могли обслуживать только одну модель на процесс, а переключение требовало перезапуска.
Запускайте открытые модели быстро с помощью SGLang.
SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.
Горячая замена локальных LLM без изменения клиентов.
Вскоре вы уже управляете несколькими инструментами: vLLM, llama.cpp и другими — каждый стек работает на своём собственном порту. При этом все последующие звенья цепочки по-прежнему ожидают один базовый URL /v1; иначе вам придётся постоянно перенастраивать порты, профили и разовые скрипты. llama-swap — это прокси для /v1, который размещается перед этими стеками.
Запуск моделей GGUF в CLI и сервере
llama.cpp — это движок инференса на C/C++ для моделей в формате GGUF: llama-cli для интерактивного чата, llama-completion для скриптованных промптов и llama-server для HTTP API, совместимого с OpenAI.
