Docker

Ollama fonctionne parfaitement sur du matériel nu. Cela devient encore plus intéressant lorsque vous le traitez comme un service : une extrémité stable, des versions figées, un stockage persistant et une GPU qui est soit disponible, soit non.

Neo4j est la solution à laquelle on se tourne lorsque les relations sont les données. Si votre domaine ressemble à un tableau blanc rempli de cercles et de flèches, le forcer dans des tables est douloureux.

SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.

Apache Kafka 4.2.0 est la ligne de version actuellement supportée, et elle constitue la meilleure base pour un démarrage rapide moderne, car Kafka 4.x est totalement libre de ZooKeeper et construit autour de KRaft par défaut.

Bientôt, vous jonglerez avec vLLM, llama.cpp et bien plus encore — chaque pile fonctionnant sur son propre port. Tout le reste de votre infrastructure souhaite toujours une URL de base unique /v1 ; sinon, vous finissez par réorganiser constamment les ports, les profils et les scripts ponctuels. llama-swap est le proxy /v1 qui précède ces piles.

Le développement logiciel implique Git pour le contrôle de version, Docker pour la conteneurisation, Bash pour l’automatisation, PostgreSQL pour les bases de données et VS Code pour l’édition, sans oublier d’innombrables autres outils qui peuvent faire ou défaire votre productivité. Cette page recueille les mémos (cheatsheets), les flux de travail et les comparaisons essentiels dont vous avez besoin pour travailler efficacement sur l’ensemble de la pile de développement.

OpenHands est une plateforme open-source et agnostique des modèles pour les agents de développement logiciel pilotés par l’IA. Il permet à un agent de se comporter davantage comme un partenaire de codage que comme un simple outil de complétion automatique.

LocalAI est un serveur d’inférence auto-hébergé, conçu en priorité pour une utilisation locale, qui se comporte comme une API OpenAI de remplacement pour exécuter des charges de travail d’IA sur votre propre matériel (ordinateur portable, station de travail ou serveur sur site).

L’inference LLM semble être « juste une autre API » — jusqu’à ce que les latences augmentent, les files d’attente se remplissent à nouveau, et que vos GPU atteignent 95 % de mémoire sans explication évidente.

OpenClaw est un assistant IA auto-hébergé conçu pour fonctionner avec des runtimes locaux de LLM comme Ollama ou avec des modèles basés en nuage tels que Claude Sonnet.

L’écosystème Go continue de prospérer avec des projets innovants couvrant l’outillage IA, les applications auto-hébergées et l’infrastructure développeur. Ce panorama analyse les dépôts Go les plus tendance sur GitHub ce mois-ci.

Open WebUI est une application web puissante, extensible et riche en fonctionnalités pour interagir avec les grands modèles de langage, hébergée localement.

vLLM est un moteur d’inférence et de déploiement à haut débit et économe en mémoire pour les grands modèles de langage (LLM), développé par le Sky Computing Lab de l’Université de Californie à Berkeley.

Cognee est un framework Python permettant de construire des graphes de connaissances à partir de documents en utilisant des LLM. Mais fonctionne-t-il avec des modèles auto-hébergés ?

Exécuter des LLM localement est désormais pratique pour les développeurs, les startups et même les équipes d’entreprise.
Mais le choix de l’outil adapté — Ollama, vLLM, LM Studio, LocalAI ou d’autres — dépend de vos objectifs :

Le développement moderne en Go exige des normes rigoureuses de qualité du code. Les linters pour Go automatisent la détection des bugs, des vulnérabilités de sécurité et des incohérences de style avant qu’ils n’atteignent la production.