Sirva e intercambie LLMs sin reinicios.
Durante mucho tiempo, llama.cpp tuvo una limitación flagrante:
solo se podía servir un modelo por proceso, y cambiar de modelo implicaba un reinicio.
Sirva modelos abiertos rápidamente con SGLang.
SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.
Intercambia modelos LLM locales en caliente sin modificar los clientes.
Pronto estarás gestionando vLLM, llama.cpp y más—cada pila en su propio puerto. Todo lo que hay aguas abajo sigue requiriendo una única URL base /v1; de lo contrario, seguirás intercambiando puertos, perfiles y scripts de un solo uso. llama-swap es el proxy /v1 que se sitúa antes de esas pilas.
Ejecuta modelos GGUF con la CLI y el servidor
llama.cpp es un motor de inferencia en C/C++ para modelos GGUF: llama-cli para chat interactivo, llama-completion para prompts guiados por guion, y llama-server para una API HTTP compatible con OpenAI.
