LLM-frontender

Inte så många att välja mellan men ändå...

Sidinnehåll

När jag började experimentera med LLMs var gränssnitten för dem i aktiv utveckling och nu är några av dem verkligen bra.

!- Jan - multiplattform UI för LLMs(jan-site_w678.jpg Jan - Frontend för LLMs - installera)

Jan

Jan(https://jan.ai/) finns tillgängligt för Windows, Linux och Mac.

Har mörka, ljusa och transparenta teman.

!- Jan LLM frontend - huvudfönster(jan-self_w678.jpg Jan - Frontend för LLMs - exempel på svar på varför självhosting)

Kan ansluta till flera befintliga bakändor som Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI etc., och värd för modeller på egen hand - se Cortex-avsnittet på skärmdumpen nedan - som visar att Jan har laddat ner och värdar lokalt Llama3 8b q4 och Phi3 medium (q4).

!- Jan LLM frontend - konfigureringsalternativ(jan-config_w678.jpg Jan LLM frontend - konfigureringsalternativ)

Fördelar (Vad jag gillade):

Intuitivt gränssnitt
Möjlighet att experimentera med modellens temperatur, topp, frekvens och närvaro straff samt systempromptar.
Erbjuder API-server

Nackdelar:

Något långsam på mitt ubuntu-baserade OS. På Windows fungerade det bra.
Kan ansluta till många bakändor, men alla är hanterade. Det skulle vara trevligt att använda Ollama-alternativet.
Inte många varianter av modellerna tillgängliga för självhosting i Cortex. Inte heller många kvantiseringsalternativ.
Ja, Huggingface gguf är fantastiskt. Men jag ville
- återanvända vad Ollama redan har laddat ner och laddat i VRAM
- inte värd värd samma modell överallt

KoboldAI

En mycket framträdande

Silly Tavern

En annan mycket mångsidig

LLM Studio

LLM Studio är inte mitt favoritgränssnitt för LLMs, men det har bättre åtkomst till Huggingface-modeller.

Kommandoradsgränssnitt Ollama

Ja, det är också ett användargränssnitt, bara ett kommando-radsgränssnitt.

Behöver köra för llama3.1 LLM:

ollama run llama3.1

när klart, skicka ett kommando för att avsluta Ollama-kommandoradsgränssnittet:

/bye

cURL Ollama

Installera cUrl om du inte har gjort det än:

sudo apt-get install curl

För att ringa lokal mistral nemo q8 llm värd på ollama - skapa lokal fil med prompten p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Vad är postmodernism?,
  stream: false
}

och nu kör i bash-terminalen

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

resultatet kommer att vara i filen p-result.json

om du bara vill skriva ut resultatet:

curl -X POST http://localhost:11434/api/generate -d @p.json

Även:

Testade inte dessa, men en ganska omfattande lista över LLM UIs:

Jan