Geheugenallocatie en modelplanning in de nieuwe versie van Ollama - v0.12.1
Mijn eigen test van ollama model planning
Hier vergelijk ik hoeveel VRAM de nieuwe versie van Ollama toewijst aan het model hoeveel VRAM nieuwe versie van Ollama toewijst aan het model met de vorige Ollama-versie. De nieuwe versie is erger.