Llamacpp on Rost Glukhov | Sitio personal y blog técnico https://www.glukhov.org/es/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | Sitio personal y blog técnico Hugo es Tue, 08 Sep 2026 20:21:40 +1000 La caché KV en GPUs de 16 GB: cómo hacer que los contextos largos quepan realmente https://www.glukhov.org/es/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/es/llm-performance/optimization/kv-cache-16gb-long-context/ <p>Un modelo puede publicitar una ventana de contexto de 128K y seguir fallando a los 40K tokens en una GPU de 16 GB. El límite de la arquitectura nunca prometió que los pesos, la caché KV, los buffers de cálculo y el compositor del escritorio cabrían en tu tarjeta al mismo tiempo.</p>