Справочник Ollama

Скомпилировал некоторые для будущего использования...

Содержимое страницы

Вот список и примеры наиболее полезных команд Ollama (Справочник по командам Ollama) Я составил его некоторое время назад. Надеюсь, он будет полезен для вас.

справочник Ollama

Этот справочник Ollama фокусируется на командных строковых командах, управлении моделями и настройке

Установка

  • Вариант 1: Загрузка с веб-сайта
    • Посетите ollama.com и загрузите установщик для вашей операционной системы (Mac, Linux или Windows).
  • Вариант 2: Установка через командную строку
    • Для пользователей Mac и Linux используйте команду: 
      curl https://ollama.ai/install.sh | sh
    • Следуйте инструкциям на экране и введите свой пароль при запросе[3].

Требования к системе

  • Операционная система: Mac или Linux (версия для Windows в разработке)
  • Память (ОЗУ): минимум 8 ГБ, рекомендуется 16 ГБ или больше
  • Хранение: как минимум ~10 ГБ свободного места
  • Процессор: относительно современный процессор (за последние 5 лет)[3].

Основные команды CLI Ollama

Команда Описание
ollama serve Запускает Ollama на вашей локальной системе.
ollama create <new_model> Создает новую модель на основе существующей для настройки или обучения.
ollama show <model> Отображает сведения о конкретной модели, такие как ее конфигурация и дата выпуска.
ollama run <model> Запускает указанную модель, делая ее готовой для взаимодействия.
ollama pull <model> Загружает указанную модель на вашу систему.
ollama list Перечисляет все загруженные модели.
ollama ps Показывает модели, которые в настоящее время запущены.
ollama stop <model> Останавливает указанную запущенную модель.
ollama rm <model> Удаляет указанную модель с вашей системы.
ollama help Предоставляет помощь по любому команде.

Управление моделями

  • Загрузка модели:

    ollama pull mistral-nemo:12b-instruct-2407-q6_K

    Эта команда загружает указанную модель (например, Gemma 2B) на вашу систему.

  • Запуск модели:

    ollama run qwen2.5:32b-instruct-q3_K_S

    Эта команда запускает указанную модель и открывает интерактивный REPL для взаимодействия.

  • Перечисление моделей:

    ollama list

    Эта команда перечисляет все модели, загруженные на вашу систему.

  • Остановка модели:

    ollama stop llama3.1:8b-instruct-q8_0

    Эта команда останавливает указанную запущенную модель.

Настройка моделей

  • Установка системного приказа: Внутри REPL Ollama вы можете установить системный приказ для настройки поведения модели:

    >>> /set system Для всех заданных вопросов отвечайте простым английским языком, избегая технических терминов, насколько это возможно
>>> /save ipe
>>> /bye

    Затем запустите настроенную модель:

    ollama run ipe

    Это устанавливает системный приказ и сохраняет модель для последующего использования.

  • Создание файла пользовательской модели: Создайте текстовый файл (например, custom_model.txt) со следующей структурой:

    FROM llama3.1
SYSTEM [Ваши пользовательские инструкции здесь]

    Затем выполните:

    ollama create mymodel -f custom_model.txt
ollama run mymodel

    Это создает настроенную модель на основе инструкций в файле[3].

Использование Ollama с файлами

  • Создание резюме из файла:

    ollama run llama3.2 "Создайте резюме содержимого этого файла в 50 словах." < input.txt

    Эта команда создает резюме содержимого файла input.txt с использованием указанной модели.

  • Запись ответов модели в файл:

    ollama run llama3.2 "Расскажите мне о возобновляемой энергии." > output.txt

    Эта команда сохраняет ответ модели в output.txt.

Общие случаи использования

  • Генерация текста:

    • Создание резюме большого текстового файла: 
      ollama run llama3.2 "Создайте резюме следующего текста:" < long-document.txt
    • Генерация контента: 
      ollama run llama3.2 "Напишите кратическую статью о преимуществах использования ИИ в здравоохранении." > article.txt
    • Ответы на конкретные вопросы: 
      ollama run llama3.2 "Какие самые последние тенденции в ИИ и как они повлияют на здравоохранение?"

    .

  • Обработка и анализ данных:

    • Классификация текста на положительный, отрицательный или нейтральный: 
      ollama run llama3.2 "Проанализируйте настроение этого отзыва клиента: 'Продукт фантастический, но доставка была медленной.'"
    • Категоризация текста в предопределенные категории: Используйте похожие команды для классификации или категоризации текста на основе предопределенных критериев.

Использование Ollama с Python

  • Установка библиотеки Ollama для Python: 
    pip install ollama
  • Генерация текста с использованием Python: 
    import ollama

response = ollama.generate(model='gemma:2b', prompt='что такое кубит?')
print(response['response'])
    Этот фрагмент кода генерирует текст с использованием указанной модели и приказа.

Полезные ссылки