KV-Cache auf 16-GB-GPUs: Lange Kontexte tatsächlich unterbringen
Warum der 128K-Kontext auf 16 GB scheitert
Ein Modell kann einen 128K-Kontextfenster werben und dennoch bei 40K Tokens auf einer 16-GB-GPU scheitern. Die architektonische Obergrenze hat nie versprochen, dass Gewichte, KV-Cache, Rechenpuffer und der Desktop-Compositor gleichzeitig auf Ihrer Karte Platz finden.