Self-Hosting

Här är en snabb information om Write.as / WriteFreely - hur det passar in i fediversumet, var man kan få hanterad värd, hur användningstrenden ser ut och hur man själv värdar (plus grova kostnadsberäkningar).

I det här inlägget kommer vi att utforska två sätt att ansluta din Python-applikation till Ollama: 1. Via HTTP REST API; 2. Via det officiella Ollama Python-biblioteket.

Proxmox Virtual Environment (Proxmox VE) är en öppen källkod, typ-1 hypervisor och datacenter-orkestreringsplattform byggd på Debian.

Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser. De har något sjunkit.

Ollamas GPT-OSS-modeller har återkommande problem med hantering av strukturerad utdata, särskilt när de används med ramverk som LangChain, OpenAI SDK, vllm och andra.

Stora språkmodeller (LLMs) är kraftfulla, men i produktion vill vi sällan ha fritt formulerade stycken. Istället vill vi ha förutsägbart data: attribut, fakta eller strukturerade objekt som du kan mata in i en app. Det är LLM Strukturerad Utdata.

För KDE Plasma-fans kommer två Linux-distributioner ofta upp i diskussionen: Kubuntu och KDE Neon. De kan verka liknande - båda levereras med KDE Plasma som standardskrivbord, båda baseras på Ubuntu, och båda är vänliga för nybörjare.

Här jämför jag hur mycket VRAM den nya versionen av Ollama tilldelar modellen (https://www.glukhov.org/sv/post/2025/09/memory-allocation-in-ollama-new-version/ “Ollama VRAM-allokering”) jämfört med tidigare version. Den nya versionen är sämre.

Denna guide kommer att guida dig genom processen att ändra den statiska IP-adressen på en Ubuntu Server.

Ollama har snabbt blivit ett av de mest populära verktygen för att köra LLMs lokalt. Dess enkla CLI och strömlinjeformade modellhantering har gjort det till ett förstahandsval för utvecklare som vill arbeta med AI-modeller utanför molnet. Men som med många lovande plattformar finns det redan tecken på Enshittification:

Mumble är en fri och öppen källkodstalkapplikation för röst över IP (VoIP) som främst är utformad för realtidskommunikation. Den använder en klient-serverarkitektur där användare ansluter till en gemensam server för att prata med varandra.

Lokalt värdade Ollama gör det möjligt att köra stora språkmodeller på din egen dator, men att använda det via kommandoraden är inte användarvänligt. Här är flera öppna källkodsprojekt som erbjuder ChatGPT-stilgränssnitt som ansluter till ett lokalt Ollama.

GPU-lastmätningsprogram: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Här är en steg-för-steg-guide för installation av en 3-nod K3s-kluster på bare-metal servrar (1 master + 2 workers).

Jämförelse av self-hosting Kubernetes-distributioner för värd på bare-metal eller hemservrar, med fokus på enkel installation, prestanda, systemkrav och funktionsuppsättningar.

Jag jämför självvärdande Kubernetes-varianter (https://www.glukhov.org/sv/post/2025/08/kubernetes-distributions-comparison/ “Jämförelse av Kubernetes-distributioner”) som passar för Ubuntu-baserade homelabs med 3 noder (16GB RAM, 4 kärnor vardera), med fokus på enkel installation och underhåll, stöd för persistent volymer och LoadBalancers.