Bufor KV na kartach GPU 16 GB: jak realnie pomieścić długi kontekst
Dlaczego kontekst 128K zawodzi na 16 GB
Model może reklamować okno kontekstu o rozmiarze 128K i nadal zawodzić przy 40K tokenach na GPU o pamięci 16 GB. Architektoniczny limit nigdy nie gwarantował, że wagom, pamięci podręcznej KV, buforom obliczeniowym i kompozytorowi pulpitu zmieści się jednocześnie na karcie graficznej.