Hardware

Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här cheatsheten ger en snabb referens för alla viktiga kommandon, konfigurationer och bästa praxis.

I dagens datormiljö har virtualisering blivit avgörande för utveckling, testning och körning av flera operativsystem. För Linux-användare som söker ett enkelt och intuitivt sätt att hantera virtuella maskiner, sticker GNOME Boxes ut som ett lättviktigt och användarvänligt alternativ som prioriterar enkelhet utan att offra funktionalitet.

Framtiden för AI handlar inte bara om smartare modeller. Det handlar också om kiselbaserad hårdvara som matchar hur dessa modeller faktiskt serveras. Specialiserad hårdvara för LLM-inferens följer en väg som påminner om Bitcoin-gruvdrifts övergång från GPU till specialbyggda ASIC, men med hårdare begränsningar eftersom modeller och precisionsschemat ständigt utvecklas.

NVIDIA DGX Spark är en realitet, till salu 15 oktober 2025, och riktar sig mot CUDA-utvecklare som behöver lokal LLM-arbete med en integrerad NVIDIA AI-stack. US MSRP $3 999; UK/DE/JP-pris är högre på grund av moms och kanal. AUD/KRW-priser är ännu inte allmänt postade.

Låt oss jämföra prissättning för toppkategorins konsument-GPU:n, som är särskilt lämpade för LLM och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser. De har sjunkit lite.

GPU-lastmätningsprogram: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia är på väg att släppa NVIDIA DGX Spark – en liten AI-superdator med Blackwell-arkitektur, 128+ GB enhetligt minne och 1 PFLOPS AI-prestation. En bra enhet att köra LLM på.

Låt oss jämföra priser för toppmoderna konsument-GPU:n, som är särskilt lämpade för LLM och AI i allmänhet. Titta särskilt på priser för RTX 5080 och RTX 5090. De har sjunkit något.

För precis tre månader sedan såg vi inte RTX 5090 i butiker, och nu finns de där, men priserna är något högre än MRSP (rekommenderat butikspris). Låt oss jämföra de lägsta priserna för RTX 5080 och RTX 5090 i Australien och se hur det ser ut.

För jämförelse, se även RTX 5080 och RTX 5090-priser i Australien – juli 2025, oktober 2025 och november 2025.

Top Automatiserat system för ett fantastiskt jobb.

Hur påverkar PCIe-laner LLM-prestanda? Beroende på uppgiften. För träning och fler-GPU-inferens – prestandaförändringen är betydande.

Jag drabbades hårt av detta problem. Men du bör undersöka och testa din dator om din blå skärm (BSOD) liknar min. Orsaken var Intels CPU-försämringsproblem i 13:e och 14:e generationen.

Jag har en teori att testa – om man använder alla kärnor på Intel CPU skulle det öka hastigheten hos LLMs? Det är irriterande att den nya gemma3 27-bit model (gemma3:27b, 17GB på ollama) inte passar in i min GPU:s 16GB VRAM och delvis kör på CPU.

I mitt håll i den moderna världens kaos här är jag jämförande tekniska specifikationer av olika kort som är lämpliga för AI uppgifter (Deep Learning, Objektidentifiering och LLM). De är alla otroligt dyra dock.

Den här guiden förklarar hur Ollama hanterar parallella begäran (konkurrens, köhantering och resursbegränsningar) och hur du kan justera det med hjälp av miljövariabeln OLLAMA_NUM_PARALLEL (och relaterade inställningar).

Installera ET-8500 på Windows är väl dokumenterat i handboken. Den ET-8500 Linux-drivrutinens installation är enkel men inte trivial. Den här guiden är en del av vår Dokumentationsverktyg 2026: Markdown, LaTeX, PDF och skrivningsflöden hubb.