Hardware

Test: Wie Ollama die Intel CPU Performance und Efficient Cores verwendet

Test: Wie Ollama die Intel CPU Performance und Efficient Cores verwendet

Ollama auf Intel CPU: Effiziente vs. Leistungscores

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt

Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Wie Ollama parallele Anfragen verarbeitet

Wie Ollama parallele Anfragen verarbeitet

Verstehen Sie die Parallelität und das Warteschlangenverhalten von Ollama und lernen Sie, OLLAMA_NUM_PARALLEL für stabile parallele Anfragen zu optimieren.

Dieses Handbuch erklärt, wie Ollama parallele Anfragen verarbeitet (Konkurrenz, Warteschlangen und Ressourcengrenzen) und wie man dies über die Umgebungsvariable OLLAMA_NUM_PARALLEL (und verwandte Parameter) einstellen kann.

Großer Sprachmodell-Geschwindigkeitstest

Großer Sprachmodell-Geschwindigkeitstest

Testen wir die Geschwindigkeit der LLMs auf GPU im Vergleich zu CPU

Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.