DevOps

Pollningsagenter är en av de minst glamourösa delarna av arkitekturen för AI-assistenter, men de är också en av de mest användbara.

Mermaid är ett textbaserat verktyg för diagramskapning, riktat till de som föredrar att skriva diagram framför att dra runt rutor på en canvas. Det använder en Markdown-liknande syntax för att beskriva flödesdiagram, sekvensdiagram, klassdiagram, statmaskiner, tidslinjer, Gantt-diagram, entitetsrelationsdiagram och mer.

Ett produktionsklart AI-assistent-system är inte bara “en LLM med en prompt”. Det är ett system som tar emot intentioner, behåller tillstånd, beslutar när det ska hämta information eller utföra handlingar, och exponerar tillräckligt med detaljer om körningen för att kunna felsöka misslyckanden.

Routerläge för llama.cpp är en av de mest användbara förändringarna i llama-server på flera år. Det ger slutligen lokala aktörer av LLM (Large Language Models) något som liknar modellhanteringsupplevelsen som man förväntar sig från Ollama, samtidigt som det behåller den råa prestanda och den lågnivåkontroll som gör llama.cpp värd att använda i första hand.

Hermes Agent levereras med ett Kanban-styrt flödessystem och Hermes Gateway, vilket kan mätta din egenhostade LLM om för många uppgifter skickas ut samtidigt.

I en längre tid hade llama.cpp en påtaglig begränsning:
du kunde bara servera en modell per process, och att byta krävde en omstart.

Den här artikeln handlar om OpenClaw-tillägg — inbyggda gateway-paket som lägger till kanaler, modellleverantörer, verktyg, röstminne, media, webbsökning och andra runtime-ytor.

Hermes Agent är en självhostad, modellagnostisk AI-assistent som körs på en lokal maskin eller en lågkostnadsvirtuell server (VPS), fungerar via terminal- och meddelandegränssnitt och förbättras över tid genom att omvandla upprepade uppgifter till återanvändbara färdigheter.

Ollama är som mest lyckligt när det behandlas som en lokal daemon: CLI:n och dina appar pratar med en loopback HTTP-API, och resten av nätverket får aldrig veta att det finns.

Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.

Att köra Ollama bakom en omvänd proxy är det enklaste sättet att få HTTPS, valfri åtkontroll och förutsägbart strömmande beteende.

Apache Flink är ett ramverk för statusbevarande beräkningar över obegränsade och begränsade dataströmmar.

Neo4j är det verktyg du vänder dig till när relationerna är datan. Om din domän ser ut som en whiteboard med cirklar och pilar blir det smärtsamt att tvinga den in i tabeller.

Statiska webbplatser och bloggar ändras när du deployar. Sökmotorer som stöder IndexNow kan få veta om dessa förändringar utan att vänta på nästa blind krypning.

SGLang är ett högpresterande ramverk för servering av stora språkmodeller och multimodala modeller, byggt för att leverera inferens med låg latens och hög genomströmning över allt från en enda GPU till distribuerade kluster.

Apache Kafka 4.2.0 är den aktuellt supportade versionslinjen, och den utgör den bästa grunden för en modern snabbstart eftersom Kafka 4.x är helt fri från ZooKeeper och byggs kring KRaft som standard.