Cheatsheet

Routerläge för llama.cpp är en av de mest användbara förändringarna i llama-server på flera år. Det ger slutligen lokala aktörer av LLM (Large Language Models) något som liknar modellhanteringsupplevelsen som man förväntar sig från Ollama, samtidigt som det behåller den råa prestanda och den lågnivåkontroll som gör llama.cpp värd att använda i första hand.

Denna sida är en praktisk referens för justering av agentic LLM-inferens (temperatur, top_p, top_k, strafftermer och hur de samverkar i flerstegs- och verktygstäta arbetsflöden).

Hermes Agent från Nous Research är en modellagnostisk, verkstugsanvändande assistent som du kör lokalt eller på en VPS.

De flesta AI-agentstackar behandlar fortfarande säkerhet som en korrigering efter demonstrationen. NemoClaw utgår från motsatta antaganden och gör isolering, policy och ruttning till standard från dag ett.

Under lång tid hade llama.cpp en påtaglig begränsning: du kunde bara servera en modell per process, och byte innebar en omstart.

Batch-filer och skript behöver ofta en kort paus så att ett fönster som öppnats med dubbelklick eller en installationslogg syns. Windows CMD har ett dedikerat pause-kommando. Unix-shells använder read.

SGLang är ett högpresterande ramverk för servering av stora språkmodeller och multimodala modeller, byggt för att leverera inferens med låg latens och hög genomströmning över allt från en enda GPU till distribuerade kluster.

Snart kastar du mellan vLLM, llama.cpp och mer – varje stack på sin egen port. Allt nedströms vill fortfarande ha en enda bas-URL /v1; annars fortsätter du att shuffla med portar, profiler och skript för enskilda fall. llama-swap är /v1-proxyn som ligger framför dessa stackar.

OpenHands är en öppen källkodsplattform som är modellagnostisk för AI-drivna agenter för mjukvaruutveckling. Den låter en agent bete sig mer som en kodpartner än ett enkelt verktyg för automatisk komplettering.

LocalAI är en självhostad, lokal-först inferensserver designad för att bete sig som en drop-in OpenAI API för att köra AI-arbetsbelastningar på din egen hårdvara (bärbar dator, arbetsstation eller on-prem-server).

Jag återkommer till llama.cpp för lokal inferens – det ger dig kontroll som Ollama och andra abstraherar bort, och det fungerar bara. Det är enkelt att köra GGUF-modeller interaktivt med llama-cli eller exponera ett OpenAI-kompatibelt HTTP-API med llama-server.

OpenCode är en öppen källkods-Agent för AI-kodning som du kan köra i terminalen (TUI + CLI) med valfria gränssnitt för skrivbord och IDE. Detta är OpenCode-quickstarten: installera, verifiera, anslut en modell/leverantör och kör verkliga arbetsflöden (CLI + API).

Välj rätt browserautomatiseringsstack och webscraping i Go påverkar hastighet, underhåll och var din kod kör.

Skrivbordslanschare på Ubuntu 24 (och de flesta Linux-skrivbord) definieras av .desktop-filer: små, textbaserade konfigurationsfiler som beskriver ett program eller länk.

Välj rätt webbläsarautomatiseringsstack i Python påverkar hastighet, stabilitet och underhåll. Den här översikten jämför Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge - med fokus på Python, medan det noteras var Node.js eller andra språk passar in.

Två starka alternativ för att bygga terminalanvändargränssnitt idag är BubbleTea (Go) och Ratatui (Rust). En ger dig en opinionsbaserad, Elm-stilad ramverk; den andra en flexibel, omedelbar lägebibliotek.