Überlegen Sie, eine zweite GPU für LLMs zu installieren?
Wie PCIe-Lanes die LLM-Performance beeinflussen? Das hängt von der Aufgabe ab. Beim Training und bei der Multi-GPU-Inferenz ist der Leistungseinbuße erheblich.
Und warum sehe ich diesen BSOD immer wieder...
Ich wurde von diesem Problem stark getroffen. Aber Sie sollten Ihre PC-Systeme untersuchen und testen, wenn Ihr BSOD wie meiner ist.
Die Ursache lag bei Intel’s CPU Degradation Issue in 13th and 14th generation.
Ollama auf Intel CPU: Effiziente vs. Leistungscores
Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt
Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.
KI erfordert viel Strom ...
Inmitten des Chaos der modernen Welt vergleiche ich hier die technischen Spezifikationen verschiedener Grafikkarten für KI-Aufgaben (Deep Learning, Objekterkennung und LLMs). Sie sind alle jedoch unglaublich teuer.
Konkurrenz und Queueing in Ollama verstehen und OLLAMA_NUM_PARALLEL für stabile parallele Anfragen optimieren.
Dieser Leitfaden erklärt, wie Ollama parallele Anfragen verarbeitet (Konkurrenz, Warteschlangen und Ressourcenlimits), und wie man dies mithilfe der Umgebungsvariable OLLAMA_NUM_PARALLEL (und verwandter Einstellungen) anpassen kann.
Es ist viel einfacher als bei alten Druckertreibern.
Die Installation des ET-8500 unter Windows ist im Handbuch gut dokumentiert. Die ET-8500 Linux Treiberinstallation ist einfach, aber nicht trivial. Dieser Leitfaden ist Teil unseres Documentation Tools in 2026: Markdown, LaTeX, PDF & Printing Workflows Hubs.
Testen wir die Geschwindigkeit der LLMs auf GPU im Vergleich zu CPU
Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.
