Llamacpp

モデルは128Kのコンテキストウィンドウを宣伝していても、16 GBのGPUでは40Kトークンで失敗することがあります。アーキテクチャの上限は、ウェイト、KVキャッシュ、計算バッファ、デスクトップコンポジターがすべて同時にGPUに収まることを約束したことはありません。