Frontend per LLM

Quando ho iniziato a sperimentare con gli LLM, le loro interfacce utente erano in fase di sviluppo attivo e ora alcune di esse sono davvero buone.

Jan

• Jan è disponibile per Windows, Linux e Mac.

Ha temi scuri, chiari e trasparenti.

Può connettersi a diversi backend esistenti come Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI, ecc., e ospitare modelli in autonomia - vedere la sezione Cortex nello screenshot sottostante - che mostra Jan aver scaricato e ospitato localmente Llama3 8b q4 e Phi3 medium (q4).

Vantaggi (Cosa mi è piaciuto):

• Interfaccia intuitiva
• Possibilità di sperimentare con la temperatura del modello, topp, penalità di frequenza e presenze e prompt di sistema.
• Fornisce un server API

Svantaggi:

• In qualche modo lento sul mio sistema operativo basato su Ubuntu. Su Windows ha funzionato senza problemi.
• Può connettersi a molti backend, ma tutti sono gestiti. Sarebbe bello avere l’opzione Ollama.
• Non ci sono molte varianti di modelli disponibili per l’auto-ospitalità in Cortex. Non ci sono nemmeno troppe opzioni di quantizzazione.
• Sì, Huggingface gguf è fantastico. Ma volevo
  • riutilizzare ciò che ollama ha già scaricato e caricato nella VRAM
  • non ospitare lo stesso modello ovunque

KoboldAI

KoboldAI

Molto prominente

Silly Tavern

Silly Tavern

Un altro molto versatile

LLM Studio

LLM Studio non è la mia interfaccia utente preferita per gli LLM, ma ha un migliore accesso ai modelli di huggingface.

Ollama da riga di comando

Sì, è anche un’interfaccia utente, solo una da riga di comando.

Bisogna eseguire per l’LLM llama3.1:

ollama run llama3.1

quando hai finito, invia un comando per uscire dalla riga di comando di ollama:

/bye

cURL Ollama

Installa cUrl se non l’hai ancora fatto

sudo apt-get install curl

Per chiamare l’LLM locale mistral nemo q8 ospitato su ollama - crea un file locale con il prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Cos'è il post-modernismo?,
  stream: false
}

e ora esegui nel terminale bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

il risultato sarà nel file p-result.json

se vuoi solo stampare il risultato:

curl -X POST http://localhost:11434/api/generate -d @p.json

Inoltre:

Non ho testato questi, ma è un elenco piuttosto completo di interfacce utente per LLM:

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba di Weaviate
• Chat UI Kit per React di ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

Link utili

• Modelli Embedding & Reranker Qwen3 su Ollama: Prestazioni all’avanguardia
• Test: Come Ollama utilizza le prestazioni della CPU Intel e i Core Efficienti
• Come Ollama gestisce le richieste parallele
• Test di Deepseek-r1 su Ollama
• Installare e configurare Ollama
• Confronto delle capacità di riassunto degli LLM
• Confronto della velocità di diversi LLM
• Auto-ospitalità di Perplexica - con Ollama
• Confronto LLM: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 e Phi
• Scheda di riferimento Ollama
• Scheda di riferimento Markdown
• Provider di LLM su Cloud