Frontends LLM

Lorsque j’ai commencé à expérimenter avec les LLM, leurs interfaces utilisateur étaient en plein développement et aujourd’hui, certaines d’entre elles sont vraiment excellentes.

Jan - interface multiplateforme pour LLMs

Jan

Jan est disponible pour Windows, Linux et Mac.

Il propose des thèmes sombre, clair et transparent.

Frontend LLM Jan - fenêtre principale

Il peut se connecter à plusieurs backends existants tels qu’Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI, etc., et héberger lui-même des modèles - voir la section Cortex sur la capture d’écran ci-dessous - montrant Jan ayant téléchargé et hébergé localement Llama3 8b q4 et Phi3 medium (q4).

Frontend LLM Jan - options de configuration

Avantages (ce que j’ai aimé) :

Interface intuitive
Possibilité d’expérimenter avec la température du modèle, topp, les pénalités de fréquence et de présence, ainsi que les prompts système.
Fournit un serveur API

Inconvénients :

Quelque peu lent sur mon système d’exploitation basé sur Ubuntu. Sur Windows, il fonctionnait correctement.
Peut se connecter à de nombreux backends, mais tous sont gérés. Il serait agréable d’avoir l’option Ollama.
Pas beaucoup de variantes de modèles disponibles pour l’auto-hébergement dans Cortex. Pas non plus beaucoup d’options de quantification.
Oui, Huggingface gguf est génial. Mais je voulais
- réutiliser ce que ollama avait déjà téléchargé et chargé dans la VRAM
- ne pas héberger le même modèle partout

KoboldAI

Très connu

Silly Tavern

Autre solution très polyvalente

LLM Studio

LLM Studio n’est pas mon interface utilisateur préférée pour les LLM, mais elle offre un meilleur accès aux modèles huggingface.

Ollama en ligne de commande

Oui, c’est aussi une interface utilisateur, juste une interface en ligne de commande.

Il faut exécuter pour le LLM llama3.1 :

ollama run llama3.1

une fois terminé, envoyer une commande pour quitter la ligne de commande ollama :

/bye

Ollama avec cURL

Installez cURL si vous ne l’avez pas encore fait

sudo apt-get install curl

Pour appeler le LLM local mistral nemo q8 hébergé sur ollama - créez un fichier local avec le prompt p.json :

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Qu'est-ce que le post-modernisme ?,
  stream: false
}

et maintenant exécutez dans le terminal bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

le résultat sera dans le fichier p-result.json

si vous voulez juste afficher le résultat :

curl -X POST http://localhost:11434/api/generate -d @p.json

Aussi :

Je n’ai pas testé ceux-ci, mais liste assez complète des interfaces pour LLM :

Liens utiles

Démarrage rapide de Vane (Perplexica 2.0) avec Ollama et llama.cpp

Vane est l’une des entrées les plus pragmatiques dans le domaine de la « recherche IA avec citations » : un moteur de réponse auto-hébergé qui combine la récupération web en direct avec des LLM locaux ou cloud, tout en gardant toute la pile sous votre contrôle.

Open WebUI : interface auto-hébergée pour LLM

Open WebUI est une application web puissante, extensible et riche en fonctionnalités pour interagir avec les grands modèles de langage, hébergée localement.

Interfaces de chat pour les instances locales d'Ollama

Localement hébergé, Ollama permet d’exécuter des modèles de langage sur votre propre machine, mais son utilisation via la ligne de commande n’est pas très conviviale.
Voici plusieurs projets open source qui proposent des interfaces du style ChatGPT qui se connectent à un Ollama local.

Une excellente cuisine est aussi un plaisir pour les yeux. Mais dans cet article, nous allons comparer deux systèmes de recherche basés sur l’IA, Farfalle et Perplexica.

C’est très excitant ! Au lieu d’appeler Copilot ou Perplexity.ai et de révéler à tout le monde ce que vous recherchez, vous pouvez désormais héberger un service similaire sur votre propre PC ou ordinateur portable !

Jan