Self-Hosting

Statische websites en blogs veranderen telkens wanneer je ze uitrolt. Zoekmachines die IndexNow ondersteunen, kunnen op de hoogte worden gebracht van deze wijzigingen zonder te hoeven wachten op de volgende blinde crawl.

SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.

Apache Kafka 4.2.0 is de momenteel ondersteunde versiereeks en vormt de beste basis voor een moderne Quickstart, omdat Kafka 4.x volledig zonder ZooKeeper werkt en standaard op KRaft is gebaseerd.

Binnenkort juggle je vLLM, llama.cpp en meer – elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1-basis-URL; anders blijf je poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1-proxy voor die stacks.

De meeste lokale AI-opstellingen beginnen met een model en een runtime.

Oh My Opencode belooft een “virtueel AI-ontwikkelteam” — Sisyphus die specialisten coördineert, taken die parallel worden uitgevoerd en het magische ultrawork-sleutelwoord dat alles activeert.

De grootste sprong in capaciteit in OpenCode komt van gespecialiseerde agents: een doordachte scheiding van orkestratie, planning, uitvoering en onderzoek.

Oh My Opencode maakt van OpenCode een multi-agent codeerhulpmiddel: een orchestrator delegeert werk aan specialistische agenten die parallel draaien.

Ik heb getest hoe OpenCode werkt met verschillende lokaal gehoste LLM’s via Ollama, en ter vergelijking heb ik ook enkele gratis modellen van OpenCode Zen toegevoegd.

OpenHands is een open-source, model-agnostisch platform voor door AI-aangedreven softwareontwikkelingsagenten.
Het stelt een agent in staat om zich meer te gedragen als een programmeerpartner dan als een eenvoudig hulpmiddel voor automatische voltooijing.

LocalAI is een self-hosted, local-first inference server die ontworpen is om te gedragen als een drop-in OpenAI API voor het uitvoeren van AI-werklasten op uw eigen hardware (laptop, workstation of on-premise server).

LLM-inferentie lijkt op “gewoon een API” — tot er plots sprongen in latentie optreden, wachtrijen zich opbouwen en je GPUs op 95% geheugen zitten zonder duidelijke verklaring.

OpenClaw is een zelfgehoste AI-assistent die is ontworpen om te draaien met lokale LLM-runtime zoals Ollama of met cloudgebaseerde modellen zoals Claude Sonnet.

AWS S3 blijft de “standaard” basislijn voor objectopslag: het is volledig beheerd, sterk consistent en ontworpen voor extreem hoge duurzaamheid en beschikbaarheid.
Garage en MinIO zijn zelfgehoste, S3-compatibele alternatieven: Garage is ontworpen voor lichte, geografisch verspreide kleine- tot middelgrote clusters, terwijl MinIO zich richt op brede S3 API functiebedekking en hoge prestaties bij grotere implementaties.

Garage is een open-source, zelfgehost, S3-compatibele objectopslag die is ontworpen voor kleine tot middelgrote implementaties, met een sterke nadruk op duurzaamheid en geografische verspreiding.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.