DevOps

Routermodus van llama.cpp is een van de meest nuttige wijzigingen aan llama-server in jaren. Het geeft lokale LLM-beheerders eindelijk iets dat lijkt op de modelbeheerservaring die mensen verwachten van Ollama, terwijl het de ruwe prestaties en lage-level controle behoudt die llama.cpp in de eerste plaats de moeite waard maken.

Hermes Agent wordt geleverd met een Kanban-stijl board en de Hermes Gateway, die uw self-hosted LLM kan verzadigen als er te veel taken tegelijk worden uitgestuurd.

Langere tijd had llama.cpp een opvallende beperking: je kon slechts één model per proces serveren, en overschakelen betekende dat je het proces opnieuw moest starten.

Dit artikel gaat over OpenClaw-plug-ins — native gateway-pakketten die kanalen, modelproviders, tools, spraak, geheugen, media, webzoeken en andere runtime-oppervlakken toevoegen.

Hermes Agent is een zelfgehoste, model-onafhankelijke AI-assistent die op een lokale machine of een goedkope VPS draait, werkt via terminal- en messaginginterfaces en in de loop van de tijd verbetert door herhaalde taken om te zetten in herbruikbare vaardigheden.

Ollama is het meest tevreden wanneer het wordt behandeld als een lokale daemon: de CLI en uw apps communiceren met een loopback HTTP API, en de rest van het netwerk komt er nooit achter dat het bestaat.

Ollama werkt uitstekend op bare metal. Het wordt nog interessanter wanneer je het als een service behandelt: een stabiel eindpunt, vastgezet versies, persistente opslag en een GPU die ofwel beschikbaar is of niet.

Ollama achter een reverse proxy draaien is de eenvoudigste manier om HTTPS, optionele toegangscontrole en voorspelbaar streamgedrag te krijgen.

Apache Flink is een framework voor stateful computations (berekeningen met toestand) over oneindige en eindige datastromen.

Neo4j is waar je naartoe grijpt wanneer de relaties de data zijn. Als je domein eruitziet als een whitebord met cirkels en pijlen, dan is het pijnlijk om dit in tabellen te dwingen.

Statische websites en blogs veranderen telkens wanneer je ze uitrolt. Zoekmachines die IndexNow ondersteunen, kunnen op de hoogte worden gebracht van deze wijzigingen zonder te hoeven wachten op de volgende blinde crawl.

SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.

Apache Kafka 4.2.0 is de huidige ondersteunde release, en vormt de beste basis voor een moderne Quickstart, omdat Kafka 4.x volledig vrij is van ZooKeeper en standaard gebouwd is rondom KRaft.

Binnenkort balanceren vLLM, llama.cpp en meer—elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1 basis-URL; anders blijf je met poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1 proxy voor die stacks.

Het ontwikkelen van software omvat Git voor versiebeheer, Docker voor containerisatie, Bash voor automatisering, PostgreSQL voor databases en VS Code voor editing — naast talloze andere tools die uw productiviteit bepalen. Deze pagina verzamelt de essentiële cheat sheets, workflows en vergelijkingen die u nodig heeft om efficiënt te werken binnen de volledige ontwikkelstack.

LocalAI is een self-hosted, local-first inference server die ontworpen is om te gedragen als een drop-in OpenAI API voor het uitvoeren van AI-werklasten op uw eigen hardware (laptop, workstation of on-premise server).