LLMフロントエンド

LLMの実験を始めた当初は、それらのUIが活発な開発段階にありました。現在では、いくつかのUIが非常に良いものになっています。

Jan

• Jan は、Windows、Linux、Macのいずれでも利用可能です。

ダークテーマ、ライトテーマ、透明テーマに対応しています。

Anthropic、Cohere、OpenAI、NvidiaNIM、MistralAIなどの既存のバックエンドに接続でき、またモデルを独自にホストすることもできます。以下のスクリーンショットのCortexセクションを見てください。JanがLlama3 8b q4とPhi3 medium (q4)をダウンロードし、ローカルでホストしていることが示されています。

利点（気に入った点）:

• 直感的なインターフェース
• モデルのtemperature、top-p、frequency penalty、presence penalty、システムプロンプトの実験が可能。
• APIサーバーを提供

欠点:

• 私のUbuntuベースのOSでは、なぜか遅いです。Windowsでは問題なく動作しました。
• 多くのバックエンドに接続できますが、すべてが管理型（マネージド）です。Ollamaオプションを使えればよかったのにと思います。
• Cortexでセルフホスティング可能なモデルのバリエーションがあまり多くありません。量子化（quantization）のオプションも限られています。
• Huggingfaceのggufは素晴らしいです。しかし、私は
  • OllamaがすでにダウンロードしてVRAMにロードしたものを再利用したかった
  • 同じモデルをどこでもホストしたくなかった

KoboldAI

KoboldAI

非常に有名なものです。

Silly Tavern

Silly Tavern

もう一つの非常に多機能なものです。

LLM Studio

LLM Studio は私の最もお気に入りのLLM用UIではありませんが、Huggingfaceのモデルへのアクセスがより良いです。

コマンドライン Ollama

はい、これなどもユーザーインターフェースであり、コマンドラインベースのものですね。

llama3.1 LLMを実行するには、以下を実行します：

ollama run llama3.1

終了したら、ollamaコマンドラインを終了させるために以下のコマンドを送信します：

/bye

cURL Ollama

まだインストールしていない場合は、cURLをインストールしてください。

sudo apt-get install curl

Ollama上でホストされているローカルの mistral nemo q8 LLMを呼び出すには、プロンプトを含むローカルファイル p.json を作成します：

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

そして、bashターミナルで以下を実行します：

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

結果はファイル p-result.json に保存されます。

結果を単に表示したいだけの場合は：

curl -X POST http://localhost:11434/api/generate -d @p.json

その他:

これらはテストしていませんが、LLM UIのかなり包括的なリストです：

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba by Weaviate
• Chat UI Kit for React by ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

有用なリンク

• Qwen3 Embedding & Reranker Models on Ollama: State-of-the-Art Performance
• Test: How Ollama is using Intel CPU Performance and Efficient Cores
• How Ollama Handles Parallel Requests
• Testing Deepseek-r1 on Ollama
• Install and configure Ollama
• Comparing LLM Summarising Abilities
• Compating different LLMs speed
• Self-hosting Perplexica - with Ollama
• LLMs comparison: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 and Phi
• Ollama cheatsheet
• Markdown Cheatsheet
• Cloud LLM Providers