Llamacpp on Rost Glukhov | Site pessoal e blog técnico https://www.glukhov.org/pt/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | Site pessoal e blog técnico Hugo pt Tue, 08 Sep 2026 20:14:40 +1000 KV Cache em GPUs de 16 GB: Fazendo o Longo Contexto Caber de Fato https://www.glukhov.org/pt/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/pt/llm-performance/optimization/kv-cache-16gb-long-context/ <p>Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite da arquitetura nunca prometeu que os pesos, o cache KV, os buffers de computação e o compositor do ambiente gráfico caberiam na sua placa ao mesmo tempo.</p>