Llamacpp on Rost Glukhov | Strona osobista i blog techniczny https://www.glukhov.org/pl/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | Strona osobista i blog techniczny Hugo pl Tue, 08 Sep 2026 20:15:57 +1000 Bufor KV na kartach GPU 16 GB: jak realnie pomieścić długi kontekst https://www.glukhov.org/pl/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/pl/llm-performance/optimization/kv-cache-16gb-long-context/ <p>Model może reklamować okno kontekstu o rozmiarze 128K i nadal zawodzić przy 40K tokenach na GPU o pamięci 16 GB. Architektoniczny limit nigdy nie gwarantował, że wagom, pamięci podręcznej KV, buforom obliczeniowym i kompozytorowi pulpitu zmieści się jednocześnie na karcie graficznej.</p>