Cheatsheet

Mode routeur de llama.cpp est l’un des changements les plus utiles apportés à llama-server depuis des années. Il offre enfin aux opérateurs de LLM locaux une expérience de gestion des modèles proche de celle attendue d’Ollama, tout en conservant les performances brutes et le contrôle de bas niveau qui rendent llama.cpp intéressant à utiliser en premier lieu.

Cette page est une référence pratique pour l’optimisation de l’inférence des LLMs agents (température, top_p, top_k, pénalités, et comment ils interagissent dans les flux de travail multi-étapes et intensifs en outils).

L’agent Hermes de Nous Research est un assistant agnostique du modèle, utilisant des outils, que vous pouvez exécuter localement ou sur un VPS.

La plupart des stacks d’agents IA considèrent encore la sécurité comme une correction à appliquer après la démonstration. NemoClaw part du principe inverse et fait de l’isolation, des politiques et du routage des valeurs par défaut dès le premier jour.

Pendant longtemps, llama.cpp présentait une limitation flagrante : vous ne pouviez servir qu’un seul modèle par processus, et changer de modèle impliquait un redémarrage.

Les fichiers par lots et les scripts shell ont souvent besoin d’une courte pause afin qu’une fenêtre lancée par un double-clic ou un journal d’installation reste visible. Windows CMD dispose d’une commande dédiée pause. Les shells Unix utilisent read.

SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.

Bientôt, vous jonglerez avec vLLM, llama.cpp et plus encore — chaque pile sur son propre port. Tout ce qui se trouve en aval souhaite toujours une URL de base /v1; sinon, vous continuez à changer de ports, de profils et de scripts ponctuels. llama-swap est le proxy /v1 avant ces piles.

OpenHands est une plateforme open-source et agnostique des modèles pour les agents de développement logiciel pilotés par l’IA. Il permet à un agent de se comporter davantage comme un partenaire de codage que comme un simple outil de complétion automatique.

LocalAI est un serveur d’inférence auto-hébergé, conçu en priorité pour une utilisation locale, qui se comporte comme une API OpenAI de remplacement pour exécuter des charges de travail d’IA sur votre propre matériel (ordinateur portable, station de travail ou serveur sur site).

Je reviens sans cesse à llama.cpp pour l’inférence locale : il vous offre un contrôle que Ollama et d’autres solutions abstraissent, et il fonctionne simplement. Il est facile d’exécuter des modèles GGUF de manière interactive avec llama-cli ou d’exposer une API HTTP compatible OpenAI avec llama-server.

OpenCode est un agent de codage IA open source que vous pouvez exécuter dans le terminal (TUI + CLI) avec des interfaces bureau et IDE optionnelles. Voici le Guide de démarrage rapide d’OpenCode : installation, vérification, connexion d’un modèle/fournisseur et exécution de workflows réels (CLI + API).

Le choix de la bonne stack d’automatisation du navigateur et webscraping en Go affecte la vitesse, la maintenance et l’endroit où votre code s’exécute.

Les lanceurs de bureau sous Ubuntu 24 (et la plupart des bureaux Linux) sont définis par des fichiers .desktop : de petits fichiers de configuration basés sur du texte qui décrivent une application ou un lien.

Le choix de la bonne pile d’automatisation de navigateur en Python affecte la vitesse, la stabilité et l’entretien. Ce survol compare Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge - avec un accent particulier sur Python, tout en notant où Node.js ou d’autres langages s’intègrent.

Deux options solides pour construire des interfaces utilisateur en terminal aujourd’hui sont BubbleTea (Go) et Ratatui (Rust). L’une vous offre un cadre opinionné, du style Elm ; l’autre, une bibliothèque flexible en mode immédiat.