Llamacpp on Рост Глухов | Персональный сайт и технический блог https://www.glukhov.org/ru/tags/llamacpp/ Recent content in Llamacpp on Рост Глухов | Персональный сайт и технический блог Hugo ru Tue, 08 Sep 2026 20:18:54 +1000 Кэш KV на GPU 16 ГБ: как реально уместить длинный контекст https://www.glukhov.org/ru/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/ru/llm-performance/optimization/kv-cache-16gb-long-context/ <p>Модель может заявлять о поддержке контекстного окна 128K и всё равно сбоить на 40K токенов на GPU с 16 ГБ видеопамяти. Пределы архитектуры никогда не гарантировали, что веса, KV-кэш, вычислительные буферы и композитор рабочего стола будут одновременно помещаться на вашей видеокарте.</p>