RTX 5090 är svår att få tag på i Australien och prisbelagd för högt.
Australien har lagervaror av RTX 5090. Knappast. Och om du hittar en, kommer du att betala en premie som känns frånkopplad från verkligheten.
Fjärråtkomst till Ollama utan offentliga portar
Ollama är som mest nöjd när den behandlas som en lokal daemon: CLI:n och dina appar pratar med en loopback HTTP-API, och resten av nätverket får aldrig veta att den existerar.
Ollama-server med komposition i förgrunden, GPU och uthållighet.
Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.
HTTPS för Ollama utan att störa strömande svar.
Att köra Ollama bakom en omvänd proxy är det enklaste sättet att få HTTPS, valfri åtkontroll och förutsägbart strömmande beteende.
RAG-embäddningar – Python, Ollama, OpenAI-API:er.
Om du arbetar med retrieval-augmented generation (RAG), går detta avsnitt igenom textembeddings i enkla termer – vad de är, hur de passar in i sökning och hämtning, och hur du anropar två vanliga lokala konfigurationer från Python med hjälp av Ollama eller en OpenAI-kompatibel HTTP-API (vilket många llama.cpp-baserade servrar exponerar).
Skicka Push URL-uppdateringar till sökmotorer efter deploy.
Statiska webbplatser och bloggar ändras när du deployar. Sökmotorer som stöder IndexNow kan få veta om dessa förändringar utan att vänta på nästa blind krypning.
Servera öppna modeller snabbt med SGLang.
SGLang är ett högpresterande ramverk för servering av stora språkmodeller och multimodala modeller, byggt för att leverera inferens med låg latens och hög genomströmning över allt från en enda GPU till distribuerade kluster.
Installera Kafka 4.2 och strömma händelser på några minuter.
Apache Kafka 4.2.0 är den aktuella supportade utgåvelinjen, och den utgör den bästa basen för ett modernt snabbstartsguide eftersom Kafka 4.x är helt utan ZooKeeper och bygger på KRaft som standard.
Byt lokala LLM:er med hetbytte utan att ändra klienterna.
Snart balanserar du vLLM, llama.cpp och mer – varje stack på sin egen port. Allt nedströms vill fortfarande ha en enda /v1-bas-URL; annars fortsätter du att flytta runt portar, profiler och engångsscript. llama-swap är /v1-proxyn framför dessa stackar.
De flesta lokala AI-uppställningar börjar med en modell och en körmiljö.
Vad som egentligen händer när du kör Ultrawork.
Oh My Opencode lovar om ett “virtuellt AI-utvecklingsteam” — där Sisyphus dirigerar specialister, uppgifter körs parallellt och magiska nyckelordet ultrawork aktiverar allt.
Installera Oh My Opencode och leverera snabbare.
Oh My Opencode gör OpenCode till en multi-agent kodningsplattform: en orkestrator delegerar arbete till specialiserade agenter som kör parallellt.
OpenCode LLM-test — kodning och noggrannhetsstatistik
Jag har testat hur OpenCode fungerar med flera lokalt värdade LLM:er från Ollama, och för jämförelse har jag även lagt till några gratismodeller från OpenCode Zen.
Möt Sisyphus och dess specialiserade agenter.
Det största kapacitetsspranget i OpenCode kommer från specialiserade agenter: en medveten separering av orkestrering, planering, exekvering och forskning.
OpenHands-kommandotolken: Kom igång på några minuter
OpenHands är en öppen källkodsplattform som är modellagnostisk för AI-drivna agenter för mjukvaruutveckling. Den låter en agent bete sig mer som en kodpartner än ett enkelt verktyg för automatisk komplettering.
Självhänseende av OpenAI-kompatibla API:n med LocalAI på några minuter.
LocalAI är en självhostad, lokal-först inferensserver designad för att bete sig som en drop-in OpenAI API för att köra AI-arbetsbelastningar på din egen hårdvara (bärbar dator, arbetsstation eller on-prem-server).
