大语言模型前端

选择虽不多，但仍有……

目录

当我开始尝试使用大型语言模型（LLMs）时，它们的用户界面正处于积极开发中，而现在其中一些已经非常出色。

!- Jan - 适用于LLMs的多平台UI(jan-site_w678.jpg Jan - LLMs前端 - 安装)

Jan

具有深色、浅色和透明主题。

!- Jan LLM前端 - 主窗口(jan-self_w678.jpg Jan - LLMs前端 - 回答为什么自托管的示例)

可以连接到多个现有后端，如 Anthropic、Cohere、OpenAI、NvidiaNIM、MistralAI 等，并且可以在其上托管模型 - 请参见下图中的 Cortex 部分 - 显示 Jan 下载并本地托管 Llama3 8b q4 和 Phi3 medium (q4)。

!- Jan LLM前端 - 配置选项(jan-config_w678.jpg Jan LLM前端 - 配置选项)

优点（我喜欢的）：

  • 直观的界面
  • 可以尝试模型温度、topp、频率和存在惩罚以及系统提示
  • 提供 API 服务器

缺点：

  • 在我的基于 Ubuntu 的操作系统上似乎有些慢。在 Windows 上运行良好。
  • 可以连接到许多后端，但它们都是托管的。使用 Ollama 选项会更好。
  • 在 Cortex 中可用于自托管的模型变体不多。量化选项也不多。
  • 是的，Huggingface gguf 非常棒。但我想
    • 重用 ollama 已经下载并加载到 VRAM 中的模型
    • 不要在每个地方都托管相同的模型

KoboldAI

KoboldAI

一个非常突出的选项

Silly Tavern

Silly Tavern

另一个非常多功能的选项

LLM Studio

LLM Studio 不是我最喜欢的 LLM 用户界面，但它对 Huggingface 模型的访问更好。

命令行 Ollama

是的，这也是一个用户界面，只是命令行界面。

要运行 llama3.1 LLM：

ollama run llama3.1

完成后，发送命令退出 Ollama 命令行：

/bye

cURL Ollama

如果尚未安装 cUrl，请先安装：

sudo apt-get install curl

要调用在 Ollama 上本地托管的 mistral nemo q8 LLM，请创建一个包含提示的本地文件 p.json：

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: 什么是后现代主义?,
  stream: false
}

现在在 bash 终端中执行：

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

结果将在文件 p-result.json 中

如果你想直接打印结果：

curl -X POST http://localhost:11434/api/generate -d @p.json

另外：

我没有测试这些，但这是一个相当全面的 LLM 用户界面列表：

有用的链接