Hardware

Docker Model Runner ist Docker’s offizielles Tool zum lokalen Ausführen von KI-Modellen, aber die Aktivierung der NVidia-GPU-Beschleunigung in Docker Model Runner erfordert eine spezifische Konfiguration.

Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.

Docker Model Runner (DMR) ist die offizielle Lösung von Docker zum lokalen Ausführen von KI-Modellen, eingeführt im April 2025. Dieses Cheatblatt bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

In der heutigen Rechenlandschaft ist Virtualisierung für Entwicklung, Tests und den Betrieb mehrerer Betriebssysteme unverzichtbar. Für Linux-Nutzer, die eine einfache und intuitive Möglichkeit suchen, virtuelle Maschinen zu verwalten, sticht GNOME Boxes als leichtgewichtige und benutzerfreundliche Option hervor, die Benutzerfreundlichkeit ohne Funktionalität zu opfern.

Die Zukunft von AI geht nicht nur um intelligentere Modelle, sondern um intelligentere Siliziumlösungen. Spezialisierte Hardware für LLM-Inferenz treibt eine Revolution ähnlich wie der Wechsel zu ASICs beim Bitcoin-Mining.

NVIDIA DGX Spark ist real, erhältlich ab dem 15. Oktober 2025 und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. US-MSRP 3.999 $; UK/DE/JP Einzelhandel ist aufgrund von Mehrwertsteuer und Vertrieb höher. AUD/KRW öffentliche Preise sind noch nicht weit verbreitet.

Proxmox Virtual Environment (Proxmox VE) ist eine Open-Source-, Typ-1-Hypervisor- und Rechenzentrums-Orchestrierungsplattform, die auf Debian basiert.

Wiederholt vergleichen wir die Preise für High-End-Consumer-GPUs, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090. Diese sind leicht gesunken.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia steht kurz vor der Veröffentlichung von NVIDIA DGX Spark - einem kleinen AI-Supercomputer auf Blackwell-Architektur mit 128+GB einheitlichem RAM und 1 PFLOPS AI-Leistung. Eine schöne Vorrichtung, um LLMs auszuführen.

Lassen Sie uns die Preise für Top-Level-Consumer-GPUs vergleichen, die insbesondere für LLMs und KI im Allgemeinen geeignet sind. Speziell schauen Sie sich die RTX 5080- und RTX 5090-Preise an. Sie sind leicht gesunken.

Vor nur 3 Monaten sahen wir die RTX 5090 noch nicht in den Geschäften, und jetzt sind sie da, aber die Preise liegen etwas höher als der MRSP. Lassen Sie uns die günstigsten Preise für RTX 5080 und RTX 5090 in Australien vergleichen und sehen, wie sich die Dinge entwickeln.

Top automatisiertes System für einen fantastischen Job.

Wie PCIe-Lanes die LLM-Performance beeinflussen? Je nach Aufgabe. Bei Training und Multi-GPU- Inferenz ist der Leistungsverlust erheblich.

Ich wurde von diesem Problem stark getroffen. Aber Sie sollten Ihre PC-Systeme untersuchen und testen, wenn Ihr BSOD wie meiner ist.
Die Ursache lag bei Intel’s CPU Degradation Issue in 13th and 14th generation.