Hardware

Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.

In der heutigen Rechenlandschaft ist Virtualisierung für Entwicklung, Tests und den Betrieb mehrerer Betriebssysteme unverzichtbar. Für Linux-Nutzer, die eine einfache und intuitive Möglichkeit suchen, virtuelle Maschinen zu verwalten, sticht GNOME Boxes als leichtgewichtige und benutzerfreundliche Option hervor, die Benutzerfreundlichkeit ohne Funktionalität zu opfern.

Die Zukunft von AI geht nicht nur um intelligentere Modelle, sondern um intelligentere Siliziumlösungen. Spezialisierte Hardware für LLM-Inferenz treibt eine Revolution ähnlich wie der Wechsel zu ASICs beim Bitcoin-Mining.

NVIDIA DGX Spark ist real, erhältlich ab dem 15. Oktober 2025 und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. US-MSRP 3.999 $; UK/DE/JP Einzelhandel ist aufgrund von Mehrwertsteuer und Vertrieb höher. AUD/KRW öffentliche Preise sind noch nicht weit verbreitet.

Wiederholt vergleichen wir die Preise für High-End-Consumer-GPUs, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090. Diese sind leicht gesunken.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia steht kurz vor der Veröffentlichung von NVIDIA DGX Spark - einem kleinen AI-Supercomputer auf Blackwell-Architektur mit 128+GB einheitlichem RAM und 1 PFLOPS AI-Leistung. Eine schöne Vorrichtung, um LLMs auszuführen.

Lassen Sie uns die Preise für Top-Level-Consumer-GPUs vergleichen, die insbesondere für LLMs und KI im Allgemeinen geeignet sind. Speziell schauen Sie sich die RTX 5080- und RTX 5090-Preise an. Sie sind leicht gesunken.

Vor nur 3 Monaten sahen wir die RTX 5090 noch nicht in den Geschäften, und jetzt sind sie da, aber die Preise liegen etwas höher als der MRSP. Lassen Sie uns die günstigsten Preise für RTX 5080 und RTX 5090 in Australien vergleichen und sehen, wie sich die Dinge entwickeln.

Top automatisiertes System für einen fantastischen Job.

Wie PCIe-Lanes die LLM-Performance beeinflussen? Je nach Aufgabe. Bei Training und Multi-GPU- Inferenz ist der Leistungsverlust erheblich.

Ich wurde von diesem Problem stark getroffen. Aber Sie sollten Ihre PC-Systeme untersuchen und testen, wenn Ihr BSOD wie meiner ist.
Die Ursache lag bei Intel’s CPU Degradation Issue in 13th and 14th generation.

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung und effizienten Kerne von Intel-Prozessoren nutzt

Es stört mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Inmitten der Turbulenzen der modernen Welt hier vergleiche ich die technischen Spezifikationen verschiedener Grafikkarten für KI-Aufgaben
(Deep Learning,
Objekterkennung
und LLMs).
Sie sind jedoch alle unglaublich teuer.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.