Hardware

Großsprachmodell-Performance-Test

Großsprachmodell-Performance-Test

Testen wir die Geschwindigkeit der LLMs auf GPU im Vergleich zu CPU

Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.