KV Cache em GPUs de 16 GB: Fazendo o Longo Contexto Caber de Fato
Por que o contexto de 128K falha em 16 GB
Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite da arquitetura nunca prometeu que os pesos, o cache KV, os buffers de computação e o compositor do ambiente gráfico caberiam na sua placa ao mesmo tempo.