KV Cache su GPU da 16 GB: far convivere davvero i contesti lunghi
Perché il contesto da 128K va in crash su 16 GB
Un modello può pubblicizzare una finestra di contesto da 128K e comunque fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai garantito che i pesi, la cache KV, i buffer di calcolo e il compositore del desktop potessero stare sulla tua scheda contemporaneamente.