LLMフロントエンド

LLM（大規模言語モデル）のUI（ユーザーインターフェース）に初めて触れた時、それらは積極的に開発中で、今ではいくつかは本当に優れたものとなっています。

!- Jan - LLM用のマルチプラットフォームUI(jan-site_w678.jpg Jan - LLM用のフロントエンド - インストール)

Jan

• Jan(https://jan.ai/) は、Windows、Linux、Macで利用可能です。

ダークモード、ライトモード、透過モードのテーマが利用可能です。

!- Jan LLMフロントエンド - メインウィンドウ(jan-self_w678.jpg Jan - LLM用のフロントエンド - why selfhostへの返信の例)

Anthropic、Cohere、OpenAI、NvidiaNIM、MistralAIなど、いくつかの既存のバックエンドに接続できます。また、独自のモデルをホストすることも可能です。以下に示すスクリーンショットの「Cortex」セクションに、JanがローカルでLlama3 8b q4とPhi3 medium (q4)をダウンロードしてホストしている様子が表示されています。

!- Jan LLMフロントエンド - 設定オプション(jan-config_w678.jpg Jan LLMフロントエンド - 設定オプション)

良い点（私が気に入った点）:

• 直感的なインターフェース
• モデルの温度、topp、頻度、存在ペナルティ、システムプロンプトの実験が可能
• APIサーバーを提供

悪い点:

• なぜか、私のUbuntuベースのOSでは少し遅い。Windowsでは問題なく動作しました。
• 複数のバックエンドに接続できますが、すべて管理されています。Ollamaオプションが利用できれば良いです。
• Cortexでセルフホスティング可能なモデルの種類が限られています。また、クアンタイズオプションもあまり多くありません。
• はい、Huggingface ggufは素晴らしいですが、私は
  • OllamaがすでにダウンロードしてVRAMにロードしたモデルを再利用したい
  • 同じモデルをあらゆる場所にホストしないで済ませたい

KoboldAI

KoboldAI

非常に注目すべきUIです。

Silly Tavern

Silly Tavern

非常に使い勝手の良いUIです。

LLM Studio

LLM Studio は、LLM用のUIとしては私の好みではありませんが、Huggingfaceモデルへのアクセスがより良いです。

コマンドライン Ollama

はい、これはユーザーインターフェースの一種ですが、コマンドライン形式です。

llama3.1のLLMを実行するには、以下のコマンドを実行してください:

ollama run llama3.1

終了したら、コマンドラインからollamaを終了するコマンドを送信してください:

/bye

cURL Ollama

まだcUrlをインストールしていない場合は、以下のコマンドでインストールしてください:

sudo apt-get install curl

ollama上でホストされているローカルのmistral nemo q8 llmを呼び出すには、プロンプトp.jsonを含むローカルファイルを作成してください:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

そして、bashターミナルで以下のコマンドを実行してください:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

結果はファイル p-result.json に保存されます。

結果を表示するだけにしたい場合は、以下のコマンドを使用してください:

curl -X POST http://localhost:11434/api/generate -d @p.json

また:

これらはテストしていませんが、LLM用のUIの非常に包括的なリストです:

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba by Weaviate
• React用Chat UI Kit by ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

有用なリンク

• Qwen3 Embedding & Reranker Models on Ollama: State-of-the-Art Performance
• Test: How Ollama is using Intel CPU Performance and Efficient Cores
• How Ollama Handles Parallel Requests
• Testing Deepseek-r1 on Ollama
• Install and configure Ollama
• Comparing LLM Summarising Abilities
• Compating different LLMs speed
• Self-hosting Perplexica - with Ollama
• LLMs comparison: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 and Phi
• Ollama cheatsheet
• Markdown Cheatsheet
• Cloud LLM Providers