Serveer en wissel LLMs zonder herstarts.
Lang bestond er een opvallende beperking in llama.cpp: je kon slechts één model per proces hosten, en overschakelen betekende een herstart.
Serveer open modellen snel met SGLang.
SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.
Wissel lokale LLM's heet uit zonder de clients te wijzigen.
Binnenkort balanceren vLLM, llama.cpp en meer—elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1 basis-URL; anders blijf je met poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1 proxy voor die stacks.
Hoe OpenCode te installeren, configureren en gebruiken
Ik keer steeds terug naar llama.cpp voor lokale inferentie – het geeft je controle die Ollama en anderen abstracteren, en het werkt gewoon. Het is eenvoudig om GGUF-modellen interactief te draaien met llama-cli of een OpenAI-compatibele HTTP-API bloot te stellen met llama-server.
