NVidia

Konfigurera kontextstorlekar i Docker Model Runner är mer komplicerat än det borde vara.

Black Forest Labs har släppt FLUX.1-Kontext-dev, en avancerad bild-till-bild AI-modell som förstärker befintliga bilder med hjälp av textinstruktioner.

Docker Model Runner är Docks officiella verktyg för att köra AI-modeller lokalt, men aktivering av NVidia GPU-accelerering i Docker Model Runner kräver specifik konfiguration.

Jag grävde fram några intressanta prestandatester av GPT-OSS 120b som körs på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65GB, vilket innebär att den inte passar i de 16GB VRAM som finns i en RTX 4080 (eller den nyare RTX 5080).

Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här snabbreferensen ger en översikt över alla viktiga kommandon, konfigurationer och bästa praxis.

Körning av stora språkmodeller (LLMs) lokalt har blivit alltmer populärt för integritet, kostnadskontroll och offline-funktioner. Landskapet förändrades betydligt i april 2025 när Docker introducerade Docker Model Runner (DMR), deras officiella lösning för AI-modelldistribution.

NVIDIA DGX Spark är verkligt, till salu 15 oktober 2025, och riktar sig till CUDA-utvecklare som behöver lokalt LLM-arbete med en integrerad NVIDIA AI-stack. US MSRP $3,999; UK/DE/JP detaljhandel är högre på grund av moms och kanaler. AUD/KRW offentliga prislappar är inte ännu allmänt publicerade.

Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser. De har något sjunkit.

GPU-lastmätningsprogram: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia står inför att släppa NVIDIA DGX Spark - en liten AI-superdator på Blackwell-arkitektur med 128+GB enhetligt RAM och 1 PFLOPS AI-prestanda. En trevlig enhet för att köra LLMs.

Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Speciellt titta på RTX 5080 och RTX 5090-priser. De har något sjunkit.

För bara 3 månader sedan såg vi inga RTX 5090 i butikerna, och nu är de här, men priserna är något högre än MRSP. Låt oss jämföra de billigaste priserna för RTX 5080 och RTX 5090 i Australien och se hur det går.

Top automatiserat system för ett fantastiskt jobb.