Aktivera GPU-beskleuning för Docker Model Runner med stöd för NVIDIA CUDA
Docker Model Runner är Docks officiella verktyg för att köra AI-modeller lokalt, men aktivering av NVidia GPU-accelerering i Docker Model Runner kräver specifik konfiguration.
GPT-OSS 120b-benchmarks på tre AI-plattformar
Jag grävde fram några intressanta prestandatester av GPT-OSS 120b som körs på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65GB, vilket innebär att den inte passar i de 16GB VRAM som finns i en RTX 4080 (eller den nyare RTX 5080).
Snabbreferens för Docker Model Runner-kommandon
Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här snabbreferensen ger en översikt över alla viktiga kommandon, konfigurationer och bästa praxis.
Enkel hantering av virtuella maskiner för Linux med GNOME Boxes
I dagens datormiljö har virtualisering blivit avgörande för utveckling, testning och körning av flera operativsystem. För Linux-användare som söker ett enkelt och intuitivt sätt att hantera virtuella maskiner, sticker GNOME Boxes ut som ett lättviktigt och användarvänligt alternativ som prioriterar enkelhet utan att offra funktionalitet.
Specialiserade chip gör AI-inferens snabbare och billigare
Framtiden för AI handlar inte bara om smartare modeller - det handlar om smartare silikon. Specialiserad hårdvara för LLM-inferens driver en revolution liknande Bitcoin-minerings övergång till ASICs.
Tillgänglighet, verkliga detaljhandelspriser i sex länder och jämförelse med Mac Studio.
NVIDIA DGX Spark är verkligt, till salu 15 oktober 2025, och riktar sig till CUDA-utvecklare som behöver lokalt LLM-arbete med en integrerad NVIDIA AI-stack. US MSRP $3,999; UK/DE/JP detaljhandel är högre på grund av moms och kanaler. AUD/KRW offentliga prislappar är inte ännu allmänt publicerade.
Vad är Proxmox?
Proxmox Virtual Environment (Proxmox VE) är en öppen källkod, typ-1 hypervisor och datacenter-orkestreringsplattform byggd på Debian.
Priser på konsument-GPU:er lämpliga för AI - RTX 5080 och RTX 5090
Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser. De har något sjunkit.
Liten lista över applikationer för GPU-lastövervakning
GPU-lastmätningsprogram: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.
Under juli 2025 bör det snart vara tillgängligt
Nvidia står inför att släppa NVIDIA DGX Spark - en liten AI-superdator på Blackwell-arkitektur med 128+GB enhetligt RAM och 1 PFLOPS AI-prestanda. En trevlig enhet för att köra LLMs.
Uppdatering av priser på AI-lämpliga GPU:er - RTX 5080 och RTX 5090
Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Speciellt titta på RTX 5080 och RTX 5090-priser. De har något sjunkit.
Priskontroll - RTX 5080 och RTX 5090
För bara 3 månader sedan såg vi inga RTX 5090 i butikerna, och nu är de här, men priserna är något högre än MRSP. Låt oss jämföra de billigaste priserna för RTX 5080 och RTX 5090 i Australien och se hur det går.
Mer RAM, mindre effekt, och fortfarande dyrt som...
Top automatiserat system för ett fantastiskt jobb.
Tänker du på att installera en andra GPU för LLMs?
Hur PCIe-lanes påverkar LLM-prestanda? Beroende på uppgiften. Vid träning och multi-gpu-inferens - prestandafallet är betydande.
Och varför har jag sett den här blå skärmen...
Jag drabbades hårt av detta problem. Men du bör undersöka och testa din dator om din blå skärm (BSOD) liknar min. Orsaken var Intels CPU-försämringsproblem i 13:e och 14:e generationen.
Ollama på Intel CPU Effektiva vs Prestandakärnor
Jag har en teori att jag vill testa - om användningen av alla kärnor på en Intel CPU skulle öka hastigheten på LLMs?
Det här plågar mig att den nya gemma3 27-bitarsmodellen (gemma3:27b, 17GB på ollama) inte passar in i min GPUs 16GB VRAM och delvis körs på CPU.
