LLM-Frontends

Als ich anfing, mit LLMs zu experimentieren, waren die Benutzeroberflächen für diese noch in aktiver Entwicklung und heute sind einige davon wirklich gut.

Jan

• Jan ist für Windows, Linux und Mac verfügbar.

Verfügbar in dunklem, hellem und transparentem Design.

Kann sich mit mehreren vorhandenen Backends wie Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI usw. verbinden und selbst Modelle hosten – siehe den Cortex-Bereich auf dem Screenshot unten – der zeigt, wie Jan Llama3 8b q4 und Phi3 medium (q4) heruntergeladen und lokal gehostet hat.

Vorteile (Was mir gefallen hat):

• Intuitive Oberfläche
• Möglichkeit, mit Modelltemperatur, topp, Frequency- und Presense-Penalties sowie Systemprompts zu experimentieren.
• Bietet einen API-Server

Nachteile:

• Irgendwie langsam auf meinem ubuntu-basierten Betriebssystem. Auf Windows lief es einwandfrei.
• Kann sich mit vielen Backends verbinden, aber alle davon sind verwaltet. Es wäre schön, die Ollama-Option nutzen zu können.
• Nicht viele Varianten der Modelle sind für Self-Hosting in Cortex verfügbar. Auch nicht zu viele Quantisierungsoptionen.
• Ja, Huggingface gguf ist großartig. Aber ich wollte
  • wiederverwenden, was ollama bereits heruntergeladen und in den VRAM geladen hat
  • dasselbe Modell nicht überall hosten

KoboldAI

KoboldAI

Sehr bekannt

Silly Tavern

Silly Tavern

Ein weiteres sehr vielseitiges Tool

LLM Studio

LLM Studio ist nicht meine Lieblings-Oberfläche für LLMs, aber es bietet besseren Zugriff auf Huggingface-Modelle.

Kommandozeile Ollama

Ja, das ist auch eine Benutzeroberfläche, nur eine für die Kommandozeile.

Muss für das llama3.1-LLM ausgeführt werden:

ollama run llama3.1

wenn fertig, senden Sie einen Befehl, um die Ollama-Kommandozeile zu verlassen:

/bye

cURL Ollama

Installieren Sie cUrl, falls Sie dies noch nicht getan haben

sudo apt-get install curl

Um das lokale mistral nemo q8-LLM aufzurufen, das auf ollama gehostet wird – erstellen Sie eine lokale Datei mit dem Prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Was ist Postmodernismus?,
  stream: false
}

und führen Sie nun im Bash-Terminal aus

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

das Ergebnis befindet sich in der Datei p-result.json

wenn Sie nur das Ergebnis ausgeben möchten:

curl -X POST http://localhost:11434/api/generate -d @p.json

Außerdem:

Habe diese nicht getestet, aber eine ziemlich umfassende Liste von LLM-Oberflächen:

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba by Weaviate
• Chat UI Kit for React by ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

Nützliche Links

• Qwen3 Embedding- und Reranker-Modelle auf Ollama: State-of-the-Art-Leistung
• Test: Wie Ollama die Intel-CPU-Leistung und die Effizienten Kerne nutzt
• Wie Ollama parallele Anfragen handhabt
• Testing von Deepseek-r1 auf Ollama
• Ollama installieren und konfigurieren
• Vergleich der Zusammenfassungsfähigkeiten von LLMs
• Vergleich der Geschwindigkeit verschiedener LLMs
• Self-Hosting von Perplexica - mit Ollama
• LLM-Vergleich: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 und Phi
• Ollama Spickzettel
• Markdown Spickzettel
• Cloud-LLM-Anbieter