Mover modelos de Ollama a una ubicación diferente

Los archivos del modelo LLM de Ollama ocupan mucho espacio.

Índice

Después de instalar ollama, es mejor reconfigurar ollama para que los almacene en un nuevo lugar de inmediato. Así, después de que descarguemos un nuevo modelo, no se descargará en el lugar antiguo.

Llama inteligente con sombrero haciendo algo en la sala de servidores

Acerca de Ollama

Ollama es una interfaz basada en texto para modelos de IA de LLM y una API que también puede alojarlos.

Instalar Ollama

Ve a https://ollama.com/download

Para instalar Ollama en Linux:

curl -fsSL https://ollama.com/install.sh | sh

Ollama en Windows está en la página: https://ollama.com/download/windows Ollama para Mac también está allí: https://ollama.com/download/macOllamaSetup.exe

Descargar, listar y eliminar modelos de Ollama

Para descargar algunos modelos de Ollama: Ve a la Biblioteca de Ollama (https://ollama.com/library) y busca el modelo que necesitas, también puedes encontrar allí las etiquetas y tamaños de los modelos.

Luego ejecuta:

ollama pull gemma2:latest

# O también puedes obtener uno ligeramente más inteligente que aún se ajusta bien a 16 GB de VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# O:
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Para comprobar los modelos que Ollama tiene en su repositorio local:

ollama list

Para eliminar algún modelo innecesario:

ollama rm qwen2:7b-instruct-q8_0 # por ejemplo

Ubicación de los modelos de Ollama

Por defecto, los archivos de los modelos se almacenan en:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Configurar la ubicación de los modelos de Ollama en Windows

Para crear una variable de entorno en Windows, puedes seguir estas instrucciones:

  • Abre la configuración de Windows.
  • Ve a Sistema.
  • Selecciona Acerca de.
  • Selecciona Configuración avanzada del sistema.
  • Ve a la pestaña Avanzada.
  • Selecciona Variables de entorno…
  • Haz clic en Nuevo…
  • Crea una variable llamada OLLAMA_MODELS que apunte a donde deseas almacenar los modelos.

Mover modelos de Ollama en Linux

Edita los parámetros del servicio de systemd de Ollama

sudo systemctl edit ollama.service

o

sudo xed /etc/systemd/system/ollama.service

Esto abrirá un editor.

Para cada variable de entorno, agrega una línea Environment bajo la sección [Service]:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Guarda y sal.

También hay parámetros de Usuario y Grupo, estos deben tener acceso a esta carpeta.

Recarga systemd y reinicia Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

si algo salió mal

systemctl status ollama.service
sudo journalctl -u ollama.service

Almacenamiento de archivos en particiones NTFS

Por favor, ten en cuenta que si estás ejecutando Linux y guardando tus modelos en una partición formateada con NTFS, tus modelos se cargarán mucho más lento, más del 20%.

uso de CPU al montar NTFS

Instalar Ollama en Windows en una carpeta específica

Junto con los modelos

.\OllamaSetup.exe /DIR=D:\OllamaDir

Exponer la API de Ollama a la red interna

Aquí, “interno” significa red local.

Agrega al archivo de configuración del servicio:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Enlaces útiles