Llamacpp on Rost Glukhov | Site personnel et blog technique https://www.glukhov.org/fr/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | Site personnel et blog technique Hugo fr Tue, 08 Sep 2026 20:13:19 +1000 Le KV Cache sur des GPU de 16 Go : faire tenir réellement les longs contextes https://www.glukhov.org/fr/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/fr/llm-performance/optimization/kv-cache-16gb-long-context/ <p>Un modèle peut afficher une fenêtre de contexte de 128K et échouer tout de même à 40K jetons sur une carte graphique de 16 Go. La limite architecturale ne garantissait jamais que les poids, le cache KV, les tampons de calcul et le compositeur de bureau tiendraient sur votre carte en même temps.</p>