Переместить модели Ollama в другое место

Файлы модели Ollama LLM занимают много места.

Содержимое страницы

После установки ollama лучше сразу переустановить ollama, чтобы хранить модели в новом месте. Таким образом, при загрузке новой модели она не будет скачиваться в старое расположение.

Умная ламба в шляпе делает что-то в серверной комнате

О Ollama

Ollama — это текстовый интерфейс для LLM AI Models и API, который также может хостить эти модели.

Установка Ollama

Перейдите на https://ollama.com/download

Чтобы установить Ollama на Linux:

curl -fsSL https://ollama.com/install.sh | sh

Ollama на Windows находится на странице: https://ollama.com/download/windows Ollama для Mac также доступен: https://ollama.com/download/macOllamaSetup.exe

Загрузка, перечисление и удаление моделей Ollama

Чтобы загрузить некоторые модели Ollama: Перейдите в библиотеку Ollama (https://ollama.com/library) и найдите нужную модель, там вы также найдете теги и размеры моделей.

Затем выполните:

ollama pull gemma2:latest

# Или получите немного более умную, но всё ещё хорошо подходящую для 16 ГБ VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# Или: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Чтобы проверить модели Ollama, которые находятся в локальном репозитории:

ollama list

Чтобы удалить ненужную модель:

ollama rm qwen2:7b-instruct-q8_0 # например

Расположение моделей Ollama

По умолчанию файлы моделей хранятся:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Настройка пути для моделей Ollama на Windows

Чтобы создать переменную окружения на Windows, следуйте этим инструкциям:

  • Откройте настройки Windows.
  • Перейдите в раздел Система.
  • Выберите Общие сведения.
  • Выберите Дополнительные параметры системы.
  • Перейдите на вкладку Дополнительно.
  • Выберите Переменные окружения…
  • Нажмите Новый…
  • Создайте переменную с именем OLLAMA_MODELS, указывающую на папку, в которой вы хотите хранить модели

Перемещение моделей Ollama на Linux

Редактирование параметров службы ollama systemd

sudo systemctl edit ollama.service

или

sudo xed /etc/systemd/system/ollama.service

Это откроет редактор.

Для каждой переменной окружения добавьте строку Environment под разделом [Service]:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Сохраните и выйдите.

Также есть параметры User и Group, эти пользователи и группы должны иметь доступ к этой папке.

Перезагрузите systemd и перезапустите Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

если что-то пошло не так

systemctl status ollama.service
sudo journalctl -u ollama.service

Хранение файлов на NTFS с перегрузкой

Обратите внимание, что если вы работаете с Linux и храните свои модели на разделе, отформатированном NTFS, ваша модель будет загружаться намного медленнее — более чем на 20%.

ntfs.mount cpu usage

Установка Ollama на Windows в определенную папку

Вместе с моделями

.\OllamaSetup.exe /DIR=D:\OllamaDir

Публикация API Ollama в локальную сеть

Здесь “внутренняя” сеть означает локальную сеть.

Добавьте в конфигурацию службы:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Полезные ссылки