Niezawodne wzorce oparte na pytaniu o status dla agentów AI.
Agentów sondujących (polling agents) należy uznać za jedną z najmniej glamour, ale zarazem najbardziej użytecznych części architektury asystentów AI.
Diagramy jako kod, bez zbędnych komplikacji.
Mermaid to narzędzie do tworzenia diagramów oparte na tekście, przeznaczone dla osób, które wolą pisać diagramy niż przeciągać kwadraty po płótnie. Wykorzystuje składnię podobną do Markdownu do opisu schematów blokowych, diagramów sekwencji, diagramów klas, maszyn stanów, osi czasu, diagramów Gantta, diagramów relacji encji i wielu innych.
Jak naprawdę są budowane poważne asystenci.
Produkcjony asystent AI to nie „model LLM z promptem”. To system, który akceptuje intencję użytkownika, utrzymuje stan, decyduje, kiedy pobrać dane lub wykonać akcję, oraz udostępnia wystarczająco szczegółowe informacje o czasie działania, aby debugować awarie.
Darmowa pamięć VRAM bez zabijania llama-server.
Tryb routera w llama.cpp to jedna z najbardziej przydatnych zmian wprowadzonych do llama-server w ciągu ostatnich lat. Wreszcie daje lokalnym operatorom modeli LLM coś w rodzaju zarządzania modelami, do którego są przyzwyczajeni z Ollama, jednocześnie zachowując surową wydajność i kontrolę na niskim poziomie, która sprawia, że warto korzystać z llama.cpp w pierwszej kolejności.
Kontroluj obciążenie Hermes Kanban w Twoim własnym, lokalnie hostowanym modelu LLM.
Hermes Agent dostarcza tablicę w stylu Kanban oraz Hermes Gateway, które mogą przytłoczyć Twoją własną samohostowaną LLM, jeśli jednocześnie zostanie uruchomionych zbyt wiele zadań.
Serwuj i podmieniaj modele LLM bez konieczności restartów.
Przez długi czas llama.cpp miał wyraźną wadę: można było obsługiwać tylko jeden model na proces, a przeladowanie wymagało restartu.
Najpierw wtyczki. Krótko o nazewnictwie umiejętności.
Ten artykuł dotyczy wtyczek OpenClaw — natywnych pakietów bramkowych, które dodają kanały, dostawców modeli, narzędzia, funkcje głosowe, pamięć, media, wyszukiwanie w sieci oraz inne warstwy środowiska wykonawczego.
Instalacja i szybki start agenta Hermes dla deweloperów
Hermes Agent to samodzielnie hostowany, niezależny od modelu asystent AI, który działa na lokalnym komputerze lub tanim serwerze VPS, współpracuje przez interfejs terminala i komunikatora oraz rozwija się z czasem, zamieniając powtarzalne zadania w wielokrotnego użytku umiejętności.
Zdalny dostęp do Ollamy bez otwierania portów publicznych
Ollama czuje się najlepiej, gdy jest traktowane jak lokalny demon: CLI i Twoje aplikacje komunikują się z API HTTP na pętli lokalnej (loopback), a reszta sieci nigdy nie dowiaduje się o jego istnieniu.
Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.
Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.
HTTPS z Ollama bez przerywania strumieniowych odpowiedzi.
Uruchomienie Ollama za pośrednictwem proxy odwrotnego to najprostszy sposób na uzyskanie HTTPS, opcjonalnej kontroli dostępu oraz przewidywalnego zachowania strumieniowego.
Strumieniowanie z zachowaniem stanu, punkty kontrolne, K8s, PyFlink, Go.
Apache Flink to framework do obliczeń z pamięcią stanu (stateful computations) nad nieograniczonymi i ograniczonymi strumieniami danych.
Grafy, Cypher, wektory i utwardzanie operacji.
Neo4j to narzędzie, do którego sięgamy, gdy relacje są danymi. Jeśli domena Twojego projektu wygląda jak tablica kreskowa z kółkami i strzałkami, wymuszanie jej na tabele jest bolesne.
Po wdrożeniu wyślij zaktualizowane URL do wyszukiwarek.
Strony statyczne i blogi zmieniają się przy każdym wdrożeniu. Silniki wyszukiwania obsługujące IndexNow mogą dowiedzieć się o tych zmianach bez czekania na kolejną ślepą indeksację.
SGLang – szybkie uruchamianie otwartych modeli.
SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.
Gorące wymiana lokalnych modeli LLM bez konieczności zmiany klientów.
Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.
