Ollama w Docker Compose z obsługą GPU i trwałą pamięcią modeli
Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.
Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.
