Flytta Ollama-modeller till annan plats

Filer för Ollama LLM-modeller tar mycket plats

Sidinnehåll

Efter installation av ollama är det bättre att konfigurera om ollama för att lagra dem på nytt plats direkt. Så när vi hämtar en ny modell, laddas den inte ner till den gamla platsen.

Smart lama i hatt gör något i serverrummet

Om Ollama

Ollama är ett textbaserat gränssnitt för LLM AI-modeller och ett API som också kan värd för dem.

Installera Ollama

Gå till https://ollama.com/download

För att installera Ollama på linux:

curl -fsSL https://ollama.com/install.sh | sh

Ollama på Windows finns på sidan: https://ollama.com/download/windows Ollama för Mac finns också: https://ollama.com/download/macOllamaSetup.exe

Ladda ner, lista och ta bort Ollama-modeller

För att ladda ner några Ollama-modeller: Gå till Ollama Library (https://ollama.com/library) och hitta modellen du behöver, där kan du också hitta modelltaggar och storlekar.

Därefter kör:

ollama pull gemma2:latest

# Eller få en något smartare som fortfarande passar bra i 16GB VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# Eller:
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

För att kontrollera modellerna Ollama har i det lokala lagret:

ollama list

För att ta bort en onödig modell:

ollama rm qwen2:7b-instruct-q8_0 # till exempel

Ollama-modellplats

Som standard lagras modellfilerna:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Konfigurera Ollama-modellväg på Windows

För att skapa en miljövariabel på Windows kan du följa dessa instruktioner:

  • Öppna Windows-inställningar.
  • Gå till System.
  • Välj Om
  • Välj Avancerade systeminställningar.
  • Gå till fliken Avancerat.
  • Välj Miljövariabler….
  • Klicka på Ny…
  • Och skapa en variabel som heter OLLAMA_MODELS som pekar på var du vill lagra modellerna

Flytta Ollama-modeller på Linux

Redigera ollama systemd-tjänstparametrarna

sudo systemctl edit ollama.service

eller

sudo xed /etc/systemd/system/ollama.service

Detta öppnar en redigerare.

För varje miljövariabel, lägg till en rad Environment under avsnittet [Service]:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Spara och avsluta.

Det finns också User och Group-parametrar, dessa måste ha åtkomst till den här mappen.

Ladda om systemd och starta om Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

om något gick fel

systemctl status ollama.service
sudo journalctl -u ollama.service

Lagring av filer på NTFS-overhead

Var medveten om att om du kör linux och håller dina modeller på en partition formaterad som NTFS, kommer dina modeller att laddas mycket - mer än 20% långsammare.

ntfs.mount cpu-användning

Installera Ollama på Windows i en specifik mapp

Tillsammans med modellerna

.\OllamaSetup.exe /DIR=D:\OllamaDir

Exponera Ollama API till det interna nätverket

Internt här menas lokalt nätverk.

Lägg till i tjänstkonfigurationen:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Användbara länkar