Hardware

Self-hosting av LLM:er behåller data, modeller och inferens under din kontroll - en praktisk väg till AI-soveränitet för grupper, företag och länder. Här: vad soverän AI är, vilka aspekter och metoder som används för att bygga den, hur LLM-self-hosting passar in, och hur länder hanterar utmaningen.

Körning av stora språkmodeller lokalt ger dig integritet, möjlighet att använda dem offline och noll kostnader för API:er. Detta benchmark visar exakt vad man kan förvänta sig från 9 populära LLMs på Ollama på en RTX 4080.

Idag tittar vi på de högsta nivåerna av konsumentspelkort och RAM-moduler. Specifikt tittar jag på RTX-5080 och RTX-5090-priser, och 32GB (2x16GB) DDR5 6000.

The
NVIDIA DGX Spark
(GB10 Grace Blackwell) är nu
tillgänglig i Australien
hos stora PC-handlare med lokalt lager.
Om du följt med i
global DGX Spark-priser och tillgänglighet,
så kommer du att vara intresserad att veta att australiska priser ligger mellan 6 249 till 7 999 AUD beroende på lagringskonfiguration och handlare.

Efter att ha installerat en ny kernel automatiskt, har Ubuntu 24.04 förlorat ethernetnätverket. Detta frustrerande problem uppstod för mig en andra gång, så jag dokumenterar lösningen här för att hjälpa andra som stöter på samma problem.

Med denna galna RAM-prisvolatilitet, för att bilda och ha en bättre bild, låt oss först spåra RAM-priset i Australien.

Minnetmarknaden upplever ovanligt prisvolatilitet i slutet av 2025, med RAM-priser som skjuter i höjden dramatiskt över alla segment.

Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser.

Demokratiseringen av AI är här. Med öppna källkods-LLMs som Llama 3, Mixtral och Qwen som nu konkurrerar med proprietära modeller kan team bygga kraftfull AI-infrastruktur med konsumenthårdvara - sänka kostnader samtidigt som full kontroll bibehålls över datasekretess och distribution.

Docker Model Runner är Docks officiella verktyg för att köra AI-modeller lokalt, men aktivering av NVidia GPU-accelerering i Docker Model Runner kräver specifik konfiguration.

Jag grävde fram några intressanta prestandatester av GPT-OSS 120b som körs på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65GB, vilket innebär att den inte passar i de 16GB VRAM som finns i en RTX 4080 (eller den nyare RTX 5080).

Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här snabbreferensen ger en översikt över alla viktiga kommandon, konfigurationer och bästa praxis.

I dagens datormiljö har virtualisering blivit avgörande för utveckling, testning och körning av flera operativsystem. För Linux-användare som söker ett enkelt och intuitivt sätt att hantera virtuella maskiner, sticker GNOME Boxes ut som ett lättviktigt och användarvänligt alternativ som prioriterar enkelhet utan att offra funktionalitet.

Framtiden för AI handlar inte bara om smartare modeller - det handlar om smartare silikon. Specialiserad hårdvara för LLM-inferens driver en revolution liknande Bitcoin-minerings övergång till ASICs.

NVIDIA DGX Spark är verkligt, till salu 15 oktober 2025, och riktar sig till CUDA-utvecklare som behöver lokalt LLM-arbete med en integrerad NVIDIA AI-stack. US MSRP $3,999; UK/DE/JP detaljhandel är högre på grund av moms och kanaler. AUD/KRW offentliga prislappar är inte ännu allmänt publicerade.

Proxmox Virtual Environment (Proxmox VE) är en öppen källkod, typ-1 hypervisor och datacenter-orkestreringsplattform byggd på Debian.