Фронтенды LLM

Не так много вариантов для выбора, но всё же...

Содержимое страницы

Когда я начал экспериментировать с LLM, интерфейсы для них находились в активном разработке, и теперь некоторые из них действительно хороши.

!- Джан - мультиплатформенный интерфейс для LLM(jan-site_w678.jpg Джан - интерфейс для LLM - установка)

Джан

Имеет темный, светлый и прозрачный темы.

!- Джан LLM интерфейс - главное окно(jan-self_w678.jpg Джан - интерфейс для LLM - пример ответа на вопрос о саморазмещении)

Может подключаться к нескольким существующим бэкендам, таким как Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI и т.д., и может размещать модели самостоятельно - см. раздел Cortex на скриншоте ниже - показывает Джан, загруженный и размещенный локально Llama3 8b q4 и Phi3 medium (q4).

!- Джан LLM интерфейс - параметры конфигурации(jan-config_w678.jpg Джан LLM интерфейс - параметры конфигурации)

Плюсы (что мне понравилось):

  • Интуитивный интерфейс
  • Возможность экспериментировать с температурой модели, topp, частотой и наличием штрафов, а также с системными подсказками.
  • Предоставляет сервер API

Минусы:

  • Некоторым образом медленно работает на моей основе Ubuntu. На Windows запускался нормально.
  • Может подключаться к многим бэкендам, но все они управляются. Было бы неплохо использовать опцию Ollama.
  • Недостаточно вариантов моделей для саморазмещения в Cortex. Не так много вариантов квантования.
  • Да, Huggingface gguf - потрясающе. Но я хотел
    • повторно использовать то, что Ollama уже загрузил в VRAM
    • не размещать одну и ту же модель везде

KoboldAI

KoboldAI

Очень заметный

Silly Tavern

Silly Tavern

Еще один очень универсальный

LLM Studio

LLM Studio не мой любимый интерфейс для LLM, но он имеет лучший доступ к моделям Huggingface.

Командная строка Ollama

Да, это тоже пользовательский интерфейс, просто командная строка.

Нужно запустить для LLM llama3.1:

ollama run llama3.1

когда закончите, отправьте команду для выхода из командной строки Ollama:

/bye

cURL Ollama

Установите cUrl, если вы еще этого не сделали

sudo apt-get install curl

Чтобы вызвать локальную mistral nemo q8 llm, размещенную на Ollama - создайте локальный файл с промптом p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Что такое постмодернизм?,
  stream: false
}

а теперь выполните в терминале bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

результат будет в файле p-result.json

если вы хотите просто вывести результат:

curl -X POST http://localhost:11434/api/generate -d @p.json

Также:

Не тестировал эти, но довольно подробный список интерфейсов LLM:

Полезные ссылки