LLM-Frontends

Nicht so viele zur Auswahl, aber dennoch...

Inhaltsverzeichnis

Als ich begann, mit LLMs zu experimentieren, waren die Benutzeroberflächen dafür noch in aktiver Entwicklung und einige von ihnen sind jetzt wirklich gut.

!- Jan - multiplatform ui for LLMs(jan-site_w678.jpg Jan - Frontend für LLMs - install)

Jan

Jan(https://jan.ai/) ist für Windows, Linux und Mac verfügbar.

Hat dunkle, helle und transparente Themen.

!- Jan LLM frontend - main window(jan-self_w678.jpg Jan - Frontend für LLMs - Beispiel für Antwort auf „warum selfhost“)

Kann sich mit mehreren bestehenden Backends wie Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI usw. verbinden und Modelle auf eigenen Servern hosten – siehe den Cortex-Teil auf dem Screenshot unten – zeigt Jan heruntergeladen und lokal gehostete Llama3 8b q4 und Phi3 medium (q4).

!- Jan LLM frontend - config options(jan-config_w678.jpg Jan LLM frontend - config options)

Vorteile (Was ich mochte):

Intuitive Oberfläche
Möglichkeit, mit Modelltemperatur, topp, Frequenz- und Präsenzstrafen sowie Systemprompts zu experimentieren.
Bietet einen API-Server

Nachteile:

Auf meinem ubuntu-basierten Betriebssystem irgendwie langsam. Auf Windows lief es gut.
Kann sich mit vielen Backends verbinden, aber alle sind verwaltet. Es wäre schön, die Ollama-Option zu nutzen.
Wenig Modelle für die Selbsthostung in Cortex verfügbar. Auch die Quantisierungsoptionen sind nicht sehr vielfältig.
Ja, Huggingface gguf ist großartig. Aber ich wollte
- die Modelle wiederverwenden, die Ollama bereits heruntergeladen und in die VRAM geladen hat
- nicht überall das gleiche Modell hosten

KoboldAI

Sehr prominent

Silly Tavern

Ein weiterer sehr vielseitiger

LLM Studio

LLM Studio ist nicht mein bevorzugtes UI für LLMs, aber es bietet besseren Zugriff auf Huggingface-Modelle.

Commandline Ollama

Ja, das ist auch eine Benutzeroberfläche, nur eine Kommandozeilen-UI.

Um für llama3.1 LLM zu starten:

ollama run llama3.1

wenn fertig, senden Sie den Befehl, um die Ollama-Kommandozeile zu verlassen:

/bye

cURL Ollama

Installieren Sie cUrl, wenn Sie das noch nicht getan haben

sudo apt-get install curl

Um einen lokalen mistral nemo q8 llm, der auf Ollama gehostet wird, aufzurufen – erstellen Sie eine lokale Datei mit dem Prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Was ist Postmodernismus?,
  stream: false
}

und führen Sie nun im Bash-Terminal aus:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

das Ergebnis wird in der Datei p-result.json

wenn Sie das Ergebnis nur ausgeben möchten:

curl -X POST http://localhost:11434/api/generate -d @p.json

Auch:

Habe diese nicht getestet, aber eine umfassende Liste von LLM-UIs:

Jan