LLMフロントエンド

選択肢は多くないが、それでも……。

目次

LLMのUIを初めて試したとき、それらはまだ積極的に開発中でしたが、今ではいくつかは非常に優れています。

!- Jan - LLM用のマルチプラットフォームUI(jan-site_w678.jpg Jan - LLM用のフロントエンド - インストール)

Jan

ダーク、ライト、透明テーマが利用可能です。

!- Jan LLMフロントエンド - メインウィンドウ(jan-self_w678.jpg Jan - LLM用のフロントエンド - why selfhostへの返信の例)

Anthropic、Cohere、OpenAI、NvidiaNIM、MistralAIなど、いくつかの既存のバックエンドに接続でき、独自のモデルをホストすることもできます。スクリーンショットの下のCortexセクションに示されているように、JanはローカルでLlama3 8b q4とPhi3 medium (q4)をダウンロードしてホスティングしています。

!- Jan LLMフロントエンド - 設定オプション(jan-config_w678.jpg Jan LLMフロントエンド - 設定オプション)

良い点（私が気に入った点）:

  • 直感的なインターフェース
  • モデルの温度、topp、頻度および存在ペナルティ、システムプロンプトを試験できる
  • APIサーバーを提供

悪い点:

  • なぜか、私のUbuntuベースのOSでは少し遅い。Windowsでは問題なく動作した。
  • 複数のバックエンドに接続できるが、すべてが管理されている。Ollamaオプションが使いたい。
  • Cortexでセルフホスティング可能なモデルの種類が少なく、クアンタイズオプションもあまりない。
  • はい、Huggingface ggufは素晴らしい。しかし、私は
    • OllamaがすでにダウンロードしてVRAMにロードしたものを再利用したい
    • 同じモデルをどこでもホストしないようにしたい

KoboldAI

KoboldAI

非常に注目すべきもの

Silly Tavern

Silly Tavern

非常に使い勝手の良いもの

LLM Studio

LLM Studioは、LLM用のUIとしては私の好みではないが、Huggingfaceモデルへのアクセスはより良い。

コマンドライン Ollama

はい、それもユーザーインターフェースの一種です。ただ、コマンドラインのものです。

llama3.1のLLMを実行するには、以下を実行してください:

ollama run llama3.1

終了したら、コマンドラインからollamaを終了するコマンドを送信してください:

/bye

cURL Ollama

まだcUrlをインストールしていない場合は、以下を実行してください:

sudo apt-get install curl

ollamaでローカルにホストされているmistral nemo q8 llmを呼び出すには、プロンプトを含むローカルファイルp.jsonを作成してください:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

そして、bashターミナルで以下を実行してください:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

結果はファイルp-result.jsonに保存されます。

結果を表示したい場合は、以下を実行してください:

curl -X POST http://localhost:11434/api/generate -d @p.json

また:

これらは試していませんが、LLMのUIが非常に包括的なリストです:

有用なリンク