Performance

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

Hugo cachestrategier är avgörande för att maximera prestandan för din statiska webbplatsgenerator. Medan Hugo genererar statiska filer som är inbyggt snabba, kan implementeringen av rätt cachning på flera nivåer dramatiskt förbättra byggtider, minska serverbelastningen och förbättra användarupplevelsen.

Jag grävde fram några intressanta prestandatester av GPT-OSS 120b som körs på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65GB, vilket innebär att den inte passar i de 16GB VRAM som finns i en RTX 4080 (eller den nyare RTX 5080).