La caché KV en GPUs de 16 GB: cómo hacer que los contextos largos quepan realmente
Por qué el contexto de 128K se bloquea con 16 GB
Un modelo puede publicitar una ventana de contexto de 128K y seguir fallando a los 40K tokens en una GPU de 16 GB. El límite de la arquitectura nunca prometió que los pesos, la caché KV, los buffers de cálculo y el compositor del escritorio cabrían en tu tarjeta al mismo tiempo.