Frontends des LLM

Pas tant d'options à choisir, mais tout de même...

Sommaire

Quand j’ai commencé à expérimenter avec les LLM, les interfaces utilisateur pour eux étaient en développement actif et maintenant certaines d’entre elles sont vraiment excellentes.

!- Jan - interface utilisateur multiplateforme pour LLMs(jan-site_w678.jpg Jan - Interface utilisateur pour LLMs - install)

Jan

Jan(https://jan.ai/) est disponible pour Windows, Linux et Mac.

Possède des thèmes sombres, clairs et transparents.

!- Jan LLM frontend - fenêtre principale(jan-self_w678.jpg Jan - Interface utilisateur pour LLMs - exemple de réponse à pourquoi auto-héberger)

Peut se connecter à plusieurs backends existants comme Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI, etc., et héberger des modèles sur son propre serveur - voir la section Cortex sur l’écran ci-dessous - montrant Jan téléchargé et hébergé localement Llama3 8b q4 et Phi3 medium (q4).

!- Jan LLM frontend - options de configuration(jan-config_w678.jpg Jan LLM frontend - options de configuration)

Avantages (ce que j’ai aimé) :

Interface intuitive
Possibilité d’expérimenter avec la température du modèle, topp, fréquence et pénalités de présence ainsi que les prompts système.
Fournit un serveur API

Inconvénients :

Quelque part lent sur mon système d’exploitation basé sur Ubuntu. Sur Windows, il a fonctionné correctement.
Peut se connecter à de nombreux backends, mais tous sont gérés. Il serait agréable d’avoir l’option Ollama.
Peu de variantes des modèles disponibles pour l’hébergement local dans Cortex. Peu d’options de quantification non plus.
Oui, Huggingface gguf est formidable. Mais j’aurais aimé
- réutiliser ce que Ollama a déjà téléchargé et chargé en VRAM
- ne pas héberger le même modèle partout

KoboldAI

Un très célèbre outil

Silly Tavern

Un autre très versatile

LLM Studio

LLM Studio n’est pas mon interface utilisateur préférée pour les LLM, mais elle offre un meilleur accès aux modèles Huggingface.

Ollama en ligne de commande

Oui, c’est aussi une interface utilisateur, juste une interface en ligne de commande.

Pour exécuter le LLM llama3.1 :

ollama run llama3.1

quand vous avez terminé, envoyez la commande suivante pour quitter l’interface en ligne de commande d’Ollama :

/bye

cURL Ollama

Installez cUrl si vous ne l’avez pas encore fait :

sudo apt-get install curl

Pour appeler localement le mistral nemo q8 llm hébergé sur Ollama - créez un fichier local avec le prompt p.json :

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Qu'est-ce que le post-modernisme ?,
  stream: false
}

et maintenant exécutez dans le terminal bash :

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

le résultat sera dans le fichier p-result.json

si vous souhaitez simplement imprimer le résultat :

curl -X POST http://localhost:11434/api/generate -d @p.json

Aussi :

Je n’ai pas testé ceux-ci, mais voici une liste assez complète des interfaces utilisateur des LLM :

Jan