LLM

OpenClaw ziet er in demonstraties eenvoudig uit. In productieomgevingen wordt het een systeem.

De stille achterdeur die een golf van experimenten met agents mogelijk maakte, is nu gesloten.

Vane is een van de meest pragmatische opties binnen het domein van “AI-zoekmachines met bronvermelding”: een zelfgehoste antwoorden-engine die live web-ophaal met lokale of cloud-LLM’s combineert, waarbij de volledige stack onder uw controle blijft.

Claude Code is geen autocomplete met betere marketing. Het is een agentische codeer-tool: het leest je codebase, bewerkt bestanden, voert commando’s uit en integreert met je ontwikkeltools.

Hermes Agent is een zelfgehoste, model-onafhankelijke AI-assistent die lokaal op een machine of een goedkope VPS draait, werkt via terminal- en berichtinterfaces en door de tijd heen verbetert door herhaalde taken om te zetten in herbruikbare vaardigheden.

Text Generation Inference (TGI) heeft een zeer specifieke energie. Het is niet de nieuwste speler op de inference-straat, maar het is wel degene die al heeft geleerd hoe productie faalt en

Hier vergelijk ik de snelheid van verschillende LLM’s die op een GPU met 16 GB VRAM draaien, en kies ik de beste optie voor zelfhosting.

Australië heeft voorraad RTX 5090. Amper. En als je er eentje vindt, betaal je een premie die los staat van de realiteit.

Ollama is het meest tevreden wanneer het wordt behandeld als een lokale daemon: de CLI en uw apps communiceren met een loopback HTTP API, en de rest van het netwerk komt er nooit achter dat het bestaat.

Ollama werkt uitstekend op bare metal. Het wordt nog interessanter wanneer je het als een service behandelt: een stabiel eindpunt, vastgezet versies, persistente opslag en een GPU die ofwel beschikbaar is of niet.

Ollama achter een reverse proxy draaien is de eenvoudigste manier om HTTPS, optionele toegangscontrole en voorspelbaar streamgedrag te krijgen.

Als u werkt aan generatie versterkt met ophalen (RAG), leidt dit gedeelte u in eenvoudige taal door tekst-embeddings: wat ze zijn, hoe ze passen binnen zoeken en ophalen, en hoe u twee veelvoorkomende lokale opstellingen in Python kunt aanroepen via Ollama of een OpenAI-compatibele HTTP-API (zoals veel op llama.cpp gebaseerde servers exposen).

SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.

Binnenkort balanceren vLLM, llama.cpp en meer—elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1 basis-URL; anders blijf je met poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1 proxy voor die stacks.

De meeste lokale AI-opstellingen beginnen met een model en een runtime.

Oh My Opencode belooft een “virtueel AI-ontwikkelteam” — Sisyphus die specialisten coördineert, taken die parallel worden uitgevoerd en het magische ultrawork-sleutelwoord dat alles activeert.