Libérer de la VRAM sans interrompre llama-server.
Mode routeur de llama.cpp est l’un des changements les plus utiles apportés à llama-server depuis des années. Il offre enfin aux opérateurs de LLM locaux une expérience de gestion des modèles proche de celle attendue d’Ollama, tout en conservant les performances brutes et le contrôle de bas niveau qui rendent llama.cpp intéressant à utiliser en premier lieu.
Gérez la charge Kanban d'Hermès sur votre LLM auto-hébergé.
Hermes Agent est livré avec un tableau Kanban et la passerelle Hermes qui peuvent saturer votre LLM auto-hébergé si trop de tâches sont expédiées simultanément.
Déployer et remplacer des LLMs sans redémarrage.
Pendant longtemps, llama.cpp présentait une limitation flagrante : vous ne pouviez servir qu’un seul modèle par processus, et changer de modèle impliquait un redémarrage.
D'abord les plugins, puis une brève explication des compétences.
Cet article porte sur les plugins OpenClaw — des paquets de passerelle natifs qui ajoutent des canaux, des fournisseurs de modèles, des outils, de la parole, de la mémoire, des médias, une recherche web et d’autres surfaces d’exécution.
Installation et prise en main rapide de l'agent Hermes pour les développeurs
Hermes Agent est un assistant IA auto-hébergé et agnostique en ce qui concerne les modèles, qui s’exécute sur une machine locale ou un VPS à faible coût, fonctionne via des interfaces en terminal et de messagerie, et s’améliore avec le temps en transformant les tâches répétitives en compétences réutilisables.
Accès distant à Ollama sans ports publics
Ollama est à son meilleur lorsque l’on le traite comme un démon local : la CLI et vos applications communiquent avec une API HTTP en boucle locale (loopback), et le reste du réseau ignore son existence.
Serveur Ollama orienté composition, avec GPU et persistance.
Ollama fonctionne parfaitement sur du matériel nu. Cela devient encore plus intéressant lorsque vous le traitez comme un service : une extrémité stable, des versions figées, un stockage persistant et une GPU qui est soit disponible, soit non.
HTTPS Ollama sans interrompre les réponses en flux.
Exécuter Ollama derrière un proxy inversé est le moyen le plus simple d’obtenir HTTPS, un contrôle d’accès facultatif et un comportement de streaming prévisible.
Streaming avec état, points de contrôle, K8s, PyFlink, Go.
Apache Flink est un cadre pour les calculs à état sur des flux de données bornés et non bornés.
Graphes, Cypher, vecteurs et durcissement des opérations.
Neo4j est la solution à laquelle on se tourne lorsque les relations sont les données. Si votre domaine ressemble à un tableau blanc rempli de cercles et de flèches, le forcer dans des tables est douloureux.
Mettre à jour les URL de recherche après le déploiement.
Les sites statiques et les blogs changent à chaque déploiement. Les moteurs de recherche prenant en charge IndexNow peuvent prendre connaissance de ces changements sans attendre le prochain cycle de crawl aveugle.
Faites fonctionner rapidement les modèles ouverts avec SGLang.
SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.
Installez Kafka 4.2 et streamez des événements en quelques minutes.
Apache Kafka 4.2.0 est la ligne de version actuellement supportée, et elle constitue la meilleure base pour un démarrage rapide moderne, car Kafka 4.x est totalement libre de ZooKeeper et construit autour de KRaft par défaut.
Échange à chaud de LLM locaux sans modifier les clients.
Bientôt, vous jonglerez avec vLLM, llama.cpp et plus encore — chaque pile sur son propre port. Tout ce qui se trouve en aval souhaite toujours une URL de base /v1; sinon, vous continuez à changer de ports, de profils et de scripts ponctuels. llama-swap est le proxy /v1 avant ces piles.
Le développement logiciel implique Git pour le contrôle de version, Docker pour la conteneurisation, Bash pour l’automatisation, PostgreSQL pour les bases de données et VS Code pour l’édition, sans oublier d’innombrables autres outils qui peuvent faire ou défaire votre productivité. Cette page rassemble les fiches de référence (cheatsheets), les flux de travail et les comparaisons essentiels dont vous avez besoin pour travailler efficacement sur toute la pile de développement.
Hébergez des APIs compatibles avec OpenAI en local avec LocalAI en quelques minutes.
LocalAI est un serveur d’inférence auto-hébergé, conçu en priorité pour une utilisation locale, qui se comporte comme une API OpenAI de remplacement pour exécuter des charges de travail d’IA sur votre propre matériel (ordinateur portable, station de travail ou serveur sur site).
