Hardware

Docker Model Runner is het officiële hulpmiddel van Docker om AI-modellen lokaal uit te voeren, maar NVidia GPU-acceleratie inschakelen in Docker Model Runner vereist specifieke configuratie.

Ik vond enkele interessante prestatietests van GPT-OSS 120b die draaien op Ollama over drie verschillende platforms: NVIDIA DGX Spark, Mac Studio en RTX 4080. De GPT-OSS 120b model uit de Ollama bibliotheek weegt 65 GB, wat betekent dat het niet past in de 16 GB VRAM van een RTX 4080 (of de nieuwere RTX 5080).

Docker Model Runner (DMR) is de officiële oplossing van Docker voor het lokaal uitvoeren van AI-modellen, geïntroduceerd in april 2025. Deze cheatsheet biedt een snelle verwijzing naar alle essentiële opdrachten, configuraties en best practices.

In het huidige computertijdperk is virtueleisering essentieel geworden voor ontwikkeling, testen en het draaien van meerdere besturingssystemen. Voor Linux-gebruikers die op zoek zijn naar een eenvoudige en intuïtieve manier om virtuele machines te beheren, is GNOME Boxes een lichte en gebruikersvriendelijke optie die zich op eenvoud van gebruik richt zonder functie te verliezen.

De toekomst van AI is niet alleen over slimme modellen - het gaat om slimme silicium.

Specialistische hardware voor LLM-inferentie trekt een revolutie aan die vergelijkbaar is met de overgang van Bitcoin-mining naar ASICs.

NVIDIA DGX Spark is real, op de markt beschikbaar 15 oktober 2025, en gericht op CUDA-ontwikkelaars die lokale LLM werkzaamheden willen uitvoeren met een geïntegreerde NVIDIA AI stack. US MSRP $3.999; UK/DE/JP retail is hoger vanwege btw en distributie. AUD/KRW openbare stickerprijzen zijn nog niet algemeen gepubliceerd.

Weer en weer vergelijken we de prijzen van topniveau consumenten GPU’s, die geschikt zijn voor LLMs in het bijzonder en AI in het algemeen. Specifiek kijk ik naar RTX-5080 en RTX-5090 prijzen. Ze zijn licht gedaald.

GPU belasting monitoring toepassingen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia is op het punt om NVIDIA DGX Spark te lanceren - een kleine AI-supercomputer op Blackwell-architectuur met 128+GB geïntegreerde RAM en 1 PFLOPS AI-prestaties. Mooi apparaat om LLMs uit te voeren.

Laat ons de prijzen van de top-level consumenten-GPUs vergelijken, die geschikt zijn voor LLMs in het bijzonder en AI over het algemeen. Kijk specifiek naar prijzen van RTX 5080 en RTX 5090. Ze zijn licht gedaald.

Precies 3 maanden geleden zagen we de RTX 5090 nog niet in winkels, en nu zijn ze er, maar de prijzen zijn iets hoger dan de MRSP. Laten we de goedkoopste prijzen voor RTX 5080 en RTX 5090 in Australië vergelijken en kijken hoe het ervoor staat.

Top geautomatiseerd systeem voor een geweldige taak.

Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.

Ik werd hard getroffen door dit probleem. Maar je zou moeten onderzoeken en testen op je PC als je BSOD er net zo uitziet als het mijne.
De oorzaak was Intel’s CPU Degradation Issue in 13th en 14th generatie.

Ik heb een theorie om te testen – als we alle kernen op een Intel CPU gebruiken, verhoogt dat de snelheid van LLMs? Het irriteert me dat de nieuwe gemma3 27 bit model (gemma3:27b, 17 GB op ollama) niet past in de 16 GB VRAM van mijn GPU en gedeeltelijk op de CPU draait.