https://www.glukhov.org/ja/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | 個人サイトとテクニカルブログ Hugo ja Tue, 08 Sep 2026 20:20:18 +1000 https://www.glukhov.org/ja/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/ja/llm-performance/optimization/kv-cache-16gb-long-context/ <p>モデルは128Kのコンテキストウィンドウを宣伝していても、16 GBのGPUでは40Kトークンで失敗することがあります。アーキテクチャの上限は、ウェイト、KVキャッシュ、計算バッファ、デスクトップコンポジターがすべて同時にGPUに収まることを約束したことはありません。</p>