LLM-frontends

Niet zo veel om uit te kiezen, maar toch...

Inhoud

Toen ik begon met het experimenteren met LLMs waren de UI’s voor hen in actieve ontwikkeling en nu zijn er sommige echt goed.

!- Jan - multiplatform ui voor LLMs(jan-site_w678.jpg Jan - Frontend voor LLMs - install)

Jan

Jan(https://jan.ai/) is beschikbaar voor Windows, Linux en Mac.

Heeft donkere, lichte en transparante thema’s.

!- Jan LLM frontend - hoofdvenster(jan-self_w678.jpg Jan - Frontend voor LLMs - voorbeeld van antwoord op waarom selfhost)

Kan verbinden met verschillende bestaande backends zoals Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI enz., en host modellen op zijn eigen - zie de Cortex sectie op het scherm hieronder - toont Jan gedownload en lokaal hosten Llama3 8b q4 en Phi3 medium (q4).

!- Jan LLM frontend - configuratieopties(jan-config_w678.jpg Jan LLM frontend - configuratieopties)

Voordelen (Wat ik leuk vond):

Intuïtieve interface
Mogelijkheid om te experimenteren met model temperatuur, topp, frequentie en aanwezigheidstrafte en systeemprompts.
Biedt API-server

Nadelen:

Op mijn ubuntu-gebaseerde os is het op een of andere manier traag. Op Windows liep het wel goed.
Kan verbinden met veel backends, maar allemaal zijn beheerd. Het zou leuk zijn om de Ollama optie te kunnen gebruiken.
Niet veel varianten van modellen beschikbaar voor zelfhosting in Cortex. Niet te veel quantisatieopties ook.
Ja, Huggingface gguf is geweldig. Maar ik wilde
- hergebruiken wat ollama al had gedownload geladen in VRAM
- niet dezelfde model overal hosten

KoboldAI

Een zeer prominente

Silly Tavern

Een andere zeer veelzijdige

LLM Studio

LLM Studio is niet mijn favoriete UI voor LLMs, maar het heeft betere toegang tot huggingface modellen.

Commandline Ollama

Ja, dat is ook een gebruikersinterface, alleen een commandline-één.

Je moet uitvoeren voor llama3.1 LLM:

ollama run llama3.1

wanneer klaar, stuur een opdracht om uit te stappen van de Ollama commandline:

/bye

cURL Ollama

Installeer cUrl als je dat nog niet hebt gedaan

sudo apt-get install curl

Om lokale mistral nemo q8 llm te roepen die op Ollama is gehost - maak een lokaal bestand met de prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Wat is post-modernisme?,
  stream: false
}

en voer nu uit in bash terminal

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

het resultaat zal in het bestand p-result.json

als je alleen het resultaat wil printen:

curl -X POST http://localhost:11434/api/generate -d @p.json

Ook:

Ik heb deze niet getest, maar het is een vrij uitgebreide lijst van LLM UIs:

Jan