Przenieś modele Ollama na inne lokalizacje

Pliki modeli LLM Ollama zajmują dużo miejsca.

Page content

Po zainstalowaniu ollama lepiej natychmiast skonfigurować Ollama, aby przechowywał je w nowym miejscu. Wtedy, po pobraniu nowego modelu, nie zostanie on pobrany do starego lokalizacji.

Sztucznie inteligentna llama w kapeluszu robi coś w pomieszczeniu serwerowym

O Ollama

Ollama to tekstowa wersja frontendu do modeli AI LLM oraz API, które może je również hostować. Aby uzyskać szersze porównanie Ollama z vLLM, Docker Model Runner, LocalAI i dostawcami chmurowymi – w tym analizę kosztów i infrastruktury – zobacz Hostowanie modeli LLM: lokalne, samodzielne i infrastruktura w chmurze.

Instalacja Ollama

Przejdź do https://ollama.com/download

Aby zainstalować Ollama na Linuxie:

curl -fsSL https://ollama.com/install.sh | sh

Ollama na Windowsie znajduje się na stronie: https://ollama.com/download/windows Ollama dla Maca również: https://ollama.com/download/macOllamaSetup.exe

Pobieranie, lista i usuwanie modeli Ollama

Aby pobrać modele Ollama: Przejdź do biblioteki Ollama (https://ollama.com/library) i znajdź model, który potrzebujesz, tam znajdziesz również tagi modeli i ich rozmiary.

Następnie uruchom:

ollama pull gemma2:latest

# Lub pobierz nieco bardziej inteligentny, który nadal dobrze mieści się w 16 GB VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# Lub:
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Aby sprawdzić modele, które Ollama ma w lokalnej repozytorium:

ollama list

Aby usunąć niepotrzebny model:

ollama rm qwen2:7b-instruct-q8_0 # przykład

Lokalizacja modeli Ollama

Domyślnie pliki modeli są przechowywane:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Konfigurowanie ścieżki modeli Ollama na Windowsie

Aby utworzyć zmienną środowiskową na Windowsie możesz postępować zgodnie z poniższymi instrukcjami:

  • Otwórz ustawienia Windowsa.
  • Przejdź do System.
  • Wybierz Opcje.
  • Wybierz Zaawansowane ustawienia systemowe.
  • Przejdź na kartę Zaawansowane.
  • Wybierz Zmienne środowiskowe…
  • Kliknij Nowy…
  • Utwórz zmienną o nazwie OLLAMA_MODELS wskazującą na miejsce, w którym chcesz przechowywać modele

Przenoszenie modeli Ollama na Linuxie

Edytuj parametry usługi systemd Ollama

sudo systemctl edit ollama.service

lub

sudo xed /etc/systemd/system/ollama.service

To otworzy edytor.

Dla każdej zmiennej środowiskowej dodaj linię Environment w sekcji [Service]:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Zapisz i wyjdź.

Istnieją również parametry użytkownika i grupy, które muszą mieć dostęp do tego folderu.

Przeładuj systemd i uruchom ponownie Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

jeśli coś poszło źle

systemctl status ollama.service
sudo journalctl -u ollama.service

Przechowywanie plików na partycji NTFS

Proszę pamiętać, że jeśli korzystasz z systemu Linux i przechowujesz swoje modele na partycji sformatowanej jako NTFS, Twoje modele będą ładować się znacznie wolniej – więcej niż 20% wolniej.

ntfs.mount użycie CPU

Instalacja Ollama na Windowsie do konkretnego folderu

Razem z modelami

.\OllamaSetup.exe /DIR=D:\OllamaDir

Wyświetlanie API Ollama w sieci wewnętrznej

Wewnętrzna sieć oznacza lokalną sieć.

Dodaj do konfiguracji usługi:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Aby zobaczyć, jak Ollama współgra z innymi lokalnymi i chmurowymi opcjami LLM, sprawdź nasz Hostowanie modeli LLM: lokalne, samodzielne i infrastruktura w chmurze.

Przydatne linki