LLM

Les frameworks d’agents IA open-source connaissent une popularité explosive sur GitHub. Deux projets au cœur de l’écosystème des systèmes IA auto-hébergés — OpenClaw et Hermes Agent — ont pris une telle avance que le reste du domaine se bat pour une lointaine troisième place.

J’ai testé les performances de la décodage spéculatif (Multi-Token Prediction, MTP) sur les modèles Qwen 3.6 27B et 35B avec une RTX 4080 dotée de 16 Go de VRAM.

Mode routeur de llama.cpp est l’un des changements les plus utiles apportés à llama-server depuis des années. Il offre enfin aux opérateurs de LLM locaux une expérience de gestion des modèles proche de celle attendue d’Ollama, tout en conservant les performances brutes et le contrôle de bas niveau qui rendent llama.cpp intéressant à utiliser en premier lieu.

Le principe est simple : les connaissances compilées sont plus réutilisables que les fragments récupérés. RAG est devenu la réponse par défaut à une question simple : comment donner à un LLM (modèle de langage) l’accès à des connaissances externes ?

La plupart des tutoriels sur les « sorties structurées » des LLM manquent de sérieux. Ils vous apprennent à demander du JSON poliment, puis à espérer que le modèle se comporte correctement. Ce n’est pas de la validation. C’est de l’optimisme entre accolades.

Cette page est une référence pratique pour l’optimisation de l’inférence des LLMs agents (température, top_p, top_k, pénalités, et comment ils interagissent dans les flux de travail multi-étapes et intensifs en outils).

Vous discutez déjà avec l’agent Hermes depuis votre téléphone par messages texte. Vous souhaitez désormais lui parler directement et recevoir des réponses vocales. C’est généralement la bonne approche, surtout si vous utilisez déjà Hermes comme assistant auto-hébergé persistant. Taper de longs prompts sur un petit écran est lent et sujet aux erreurs.

Hermes Agent est livré avec un tableau Kanban et la passerelle Hermes qui peuvent saturer votre LLM auto-hébergé si trop de tâches sont expédiées simultanément.

Hermes Agent considère les compétences (skills) comme la méthode par défaut pour enseigner des flux de travail répétables. La documentation officielle les décrit comme des documents de connaissances sur demande, alignés sur le format ouvert agentskills.io, chargés via une révélation progressive afin que le modèle voie d’abord un index réduit et n’extraye les instructions complètes que lorsqu’une tâche en a réellement besoin.

L’agent Hermes de Nous Research est un assistant agnostique du modèle, utilisant des outils, que vous pouvez exécuter localement ou sur un VPS.

La plupart des stacks d’agents IA considèrent encore la sécurité comme une correction à appliquer après la démonstration. NemoClaw part du principe inverse et fait de l’isolation, des politiques et du routage des valeurs par défaut dès le premier jour.

Les assistants modernes oublient toujours tout lorsque vous fermez l’onglet, à moins qu’un élément ne persiste au-delà de la fenêtre de contexte. Les fournisseurs de mémoire d’agent sont des services ou des bibliothèques qui conservent des faits et des résumés entre les sessions — souvent intégrés en tant que plugins afin que le cadre reste léger tandis que la mémoire évolue.

Cette section regroupe des guides sur la mémoire et le savoir persistants pour les systèmes d’IA — comment les assistants conservent les faits, les préférences et le contexte distillé d’une session à l’autre, sans surcharger un seul prompt avec tous les jetons. Ici, la mémoire désigne une rétention intentionnelle (faits utilisateurs, résumés, bases de données soutenues par des plugins), et non la RAM du GPU ou les poids du modèle.

Vous connaissez la procédure. Vous ouvrez une discussion avec un agent IA, vous expliquez votre projet, vous partagez vos préférences, vous effectuez quelques tâches, puis vous fermez l’onglet. Vous revenez la semaine suivante et c’est comme si vous parliez à un inconnu — tout le contexte a disparu, chaque préférence est oubliée, le projet doit être réexpliqué depuis le début.

OpenClaw n’a pas échoué en tant que produit. Il a perdu son carburant.

Pendant longtemps, llama.cpp présentait une limitation flagrante : vous ne pouviez servir qu’un seul modèle par processus, et changer de modèle impliquait un redémarrage.