Kostenfreier VRAM, ohne den llama-server zu beenden.
llama.cpp Router-Modus ist eine der nützlichsten Änderungen an llama-server in den letzten Jahren. Er gibt lokalen LLM-Betreibern endlich etwas, das dem Modellmanagement-Erlebnis ähnelt, das man von Ollama erwartet, während er die rohe Leistung und die niedrige Kontrollstufe beibehält, die llama.cpp überhaupt erst interessant machen.
Steuerung der Hermes-Kanban-Last auf Ihrem selbst gehosteten LLM.
Hermes Agent wird mit einem Kanban-stilisierten Board und dem Hermes Gateway ausgeliefert, das Ihren selbst gehosteten LLM sättigen kann, wenn zu viele Aufgaben gleichzeitig zugewiesen werden.
MinIO CE ist ab 2026 faktisch nicht mehr supported.
Die MinIO Community Edition ist keine sichere Standardeinstellung mehr für neue Produktionssysteme.
LLMs bereitstellen und austauschen – ohne Neustart.
Eine lange Zeit litt llama.cpp unter einem augenfälligen Mangel:
Sie konnten pro Prozess nur ein Modell bereitstellen, und ein Wechsel erforderte einen Neustart.
Plugins zuerst. Eine kurze Übersicht der Fähigkeiten.
Dieser Artikel handelt von OpenClaw-Plugins — nativen Gateway-Paketen, die Kanäle, Modellanbieter, Tools, Sprachfunktionen, Speicher, Medien, Websuche und andere Laufzeitschnittstellen hinzufügen.
Hermes-Agent: Installation und Schnellstart für Entwickler
Hermes Agent ist ein selbst gehosteter, modell-agnostischer KI-Assistent, der auf einem lokalen Rechner oder einem kostengünstigen VPS läuft, über Terminal- und Messaging-Schnittstellen arbeitet und mit der Zeit besser wird, indem er wiederkehrende Aufgaben in wiederverwendbare Skills umwandelt.
Remote-Zugriff auf Ollama ohne öffentliche Ports
Ollama ist am glücklichsten, wenn es wie ein lokaler Daemon behandelt wird: Die CLI und Ihre Apps kommunizieren mit einer Loopback-HTTP-API, und der Rest des Netzwerks erfährt nie von ihrer Existenz.
Compose-first Ollama-Server mit GPU und Persistenz.
Ollama läuft hervorragend auf Bare-Metal-Systemen. Es wird noch interessanter, wenn man es wie einen Dienst behandelt: mit einem stabilen Endpunkt, festgelegten Versionen, persistentem Speicher und einer GPU, die entweder verfügbar ist oder eben nicht.
HTTPS mit Ollama, ohne die Streaming-Antworten zu beeinträchtigen.
Das Betreiben von Ollama hinter einem Reverse-Proxy ist der einfachste Weg, HTTPS, optionale Zugriffskontrolle und ein vorhersagbares Streaming-Verhalten zu erhalten.
Zustandsbehaftetes Streaming, Checkpoints, K8s, PyFlink, Go.
Apache Flink ist ein Framework für zustandsbehaftete Berechnungen über unendliche und endliche Datenströme.
Graphen, Cypher, Vektoren und die Härtung von Operationen.
Neo4j ist das Mittel der Wahl, wenn die Beziehungen die eigentlichen Daten sind. Wenn Ihr Domänenmodell wie eine Whiteboard-Zeichnung mit Kreisen und Pfeilen aussieht, ist die Zwangsumsetzung in Tabellen schmerzhaft.
Pushen Sie URL-Updates nach dem Deployment an die Suchmaschinen.
Statische Websites und Blogs ändern sich beim Deploy. Suchmaschinen, die IndexNow unterstützen, können über diese Änderungen informiert werden, ohne auf das nächste blinde Crawling warten zu müssen.
Dienen Sie Open-Modelle schnell mit SGLang.
SGLang ist ein leistungsfähiges Bereitstellungsframework für große Sprachmodelle und multimodale Modelle, das entwickelt wurde, um Inferenz mit geringer Latenz und hohem Durchsatz von einzelnen GPUs bis hin zu verteilten Clustern zu ermöglichen.
Installieren Sie Kafka 4.2 und streamen Sie Events in Minuten.
Apache Kafka 4.2.0 ist die aktuell unterstützte Release-Serie und stellt die beste Grundlage für einen modernen Quickstart dar, da Kafka 4.x standardmäßig vollständig ohne ZooKeeper auskommt und auf KRaft basiert.
Lokale LLMs per Hot-Swap austauschen, ohne die Clients anzupassen.
Bald jonglierst du mit vLLM, llama.cpp und weiteren – jeder Stack auf seinem eigenen Port. Alles, was downstream liegt, erwartet weiterhin eine einzige /v1-Basis-URL; andernfalls musst du ständig Ports, Profile und Einmalskripte umstellen. llama-swap ist die /v1-Proxy-Schicht vor diesen Stacks.
Die Softwareentwicklung umfasst Git für die Versionskontrolle, Docker für die Containerisierung, Bash für die Automatisierung, PostgreSQL für Datenbanken und VS Code für die Bearbeitung – zusammen mit unzähligen anderen Tools, die Ihre Produktivität maßgeblich beeinflussen können. Diese Seite bündelt die wichtigsten Spickzettel, Workflows und Vergleichsübersichten, die Sie benötigen, um effizient über den gesamten Entwicklungsstapel hinweg zu arbeiten.
