Llama.cpp

Binnenkort juggle je vLLM, llama.cpp en meer – elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1-basis-URL; anders blijf je poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1-proxy voor die stacks.

Ik kom steeds terug bij llama.cpp voor lokale inferentie — het geeft je controle die Ollama en anderen abstracten, en het werkt gewoon. Eenvoudig om GGUF-modellen interactief te draaien met llama-cli of een OpenAI-compatibele HTTP API te tonen met llama-server.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.