Déplacer les modèles Ollama vers un emplacement différent

Les fichiers de modèles LLM d'Ollama prennent beaucoup de place.

Sommaire

Après avoir installé ollama, il est préférable de reconfigurer ollama pour qu’il les stocke directement dans le nouveau lieu. Ainsi, après avoir tiré un nouveau modèle, il ne sera pas téléchargé vers l’ancien emplacement.

Llama intelligente dans le chapeau fait quelque chose dans la salle des serveurs

À propos d’Ollama

Ollama est une interface textuelle pour modèles d’IA LLM et un API capable d’héberger ces derniers également.

Installer Ollama

Allez sur https://ollama.com/download

Pour installer Ollama sur Linux :

curl -fsSL https://ollama.com/install.sh | sh

Ollama sur Windows est sur la page : https://ollama.com/download/windows Ollama pour Mac est également disponible : https://ollama.com/download/macOllamaSetup.exe

Télécharger, lister et supprimer des modèles Ollama

Pour télécharger certains modèles Ollama : Allez sur la bibliothèque Ollama (https://ollama.com/library) et trouvez le modèle dont vous avez besoin, vous y trouverez également les balises et les tailles des modèles.

Ensuite, exécutez :

ollama pull gemma2:latest

# Ou obtenez une version légèrement plus intelligente qui s'adapte bien à 16 Go de VRAM :
ollama pull gemma2:27b-instruct-q3_K_S

# Ou :
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Pour vérifier les modèles Ollama présents dans le dépôt local :

ollama list

Pour supprimer un modèle inutile :

ollama rm qwen2:7b-instruct-q8_0 # par exemple

Emplacement des modèles Ollama

Par défaut, les fichiers de modèles sont stockés :

  • Windows : C:\Users%username%.ollama\models
  • Linux : /usr/share/ollama/.ollama/models
  • macOS : ~/.ollama/models

Configuration du chemin des modèles Ollama sur Windows

Pour créer une variable d’environnement sur Windows, vous pouvez suivre ces instructions :

  • Ouvrez les paramètres Windows.
  • Allez dans le système.
  • Sélectionnez « À propos ».
  • Sélectionnez « Paramètres avancés du système ».
  • Allez sur l’onglet « Avancé ».
  • Sélectionnez « Variables d’environnement… ».
  • Cliquez sur « Nouveau… ».
  • Et créez une variable appelée OLLAMA_MODELS pointant vers l’endroit où vous souhaitez stocker les modèles.

Déplacer les modèles Ollama sur Linux

Modifiez les paramètres du service systemd d’Ollama

sudo systemctl edit ollama.service

ou

sudo xed /etc/systemd/system/ollama.service

Cela ouvrira un éditeur.

Pour chaque variable d’environnement, ajoutez une ligne Environment sous la section [Service] :

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Enregistrez et quittez.

Il y a également des paramètres User et Group, ceux-ci doivent avoir accès à ce dossier.

Relancez systemd et redémarrez Ollama :

sudo systemctl daemon-reload
sudo systemctl restart ollama

si quelque chose s’est mal passé

systemctl status ollama.service
sudo journalctl -u ollama.service

Stockage des fichiers sur NTFS overhead

Veuillez être conscient que si vous exécutez Linux et que vous gardez vos modèles sur une partition formatée NTFS, vos modèles seront chargés beaucoup plus lentement, plus de 20 %.

ntfs.mount utilisation du processeur

Installer Ollama sur Windows dans un dossier spécifique

Avec les modèles

.\OllamaSetup.exe /DIR=D:\OllamaDir

Exposer l’API Ollama sur le réseau interne

Ici, interne signifie réseau local.

Ajoutez à la configuration du service :

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Liens utiles