Self-Hosting

Encore et encore, comparons les prix des cartes graphiques grand public de haut niveau, qui sont particulièrement adaptées aux LLM et en général à l’IA. Plus précisément, je regarde les prix de l’RTX-5080 et de l’RTX-5090. Ils ont légèrement baissé.

Les modèles GPT-OSS d’Ollama rencontrent régulièrement des problèmes pour gérer les sorties structurées, surtout lorsqu’ils sont utilisés avec des cadres comme LangChain, OpenAI SDK, vllm et d’autres.

Les grands modèles de langage (LLMs) sont puissants, mais en production, nous souhaitons rarement des paragraphes libres. Au contraire, nous voulons des données prévisibles : des attributs, des faits ou des objets structurés que vous pouvez alimenter dans une application. C’est la sortie structurée des LLM.

Pour les fans de KDE Plasma, deux distributions Linux apparaissent fréquemment dans les discussions : Kubuntu et KDE Neon. Ils peuvent sembler similaires – tous deux livrent KDE Plasma comme bureau par défaut, tous deux sont basés sur Ubuntu, et tous deux sont conviviaux pour les nouveaux utilisateurs.

Ici, je compare combien de VRAM la nouvelle version d’Ollama alloue au modèle
par rapport à la version précédente d’Ollama. La nouvelle version est pire.

Ce guide vous guidera à travers le processus de modification de l’adresse IP statique sur un serveur Ubuntu.

Ollama a rapidement devenu l’un des outils les plus populaires pour exécuter localement des LLM (Large Language Models). Son interface CLI simple et sa gestion des modèles optimisée ont fait de lui une option privilégiée pour les développeurs souhaitant travailler avec des modèles d’IA hors du cloud. Mais comme c’est souvent le cas avec de nombreuses plateformes prometteuses, des signes d’Enshittification apparaissent déjà :

Mumble est une application de communication vocale par Internet (VoIP) gratuite et open source, principalement conçue pour la communication vocale en temps réel. Elle utilise une architecture client-serveur où les utilisateurs se connectent à un serveur partagé pour s’entretenir entre eux.

L’hébergement local de Ollama permet d’exécuter des modèles de langage volumineux sur votre propre machine, mais son utilisation via la ligne de commande n’est pas très conviviale.
Voici plusieurs projets open source qui proposent des interfaces du style ChatGPT qui se connectent à un Ollama local.

Applications de surveillance de la charge du GPU :
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Voici un walkthrough étape par étape de
l’installation d’un cluster K3s à 3 nœuds
sur des serveurs physiques (1 maître + 2 travailleurs).

Comparaison des distributions de self-hosting Kubernetes pour l’hébergement sur serveurs physiques ou serveurs domestiques, en se concentrant sur la facilité d’installation, les performances, les exigences système et les ensembles de fonctionnalités.

Je compare les variantes de Kubernetes auto-hébergées que l’on peut utiliser dans un homelab basé sur Ubuntu avec 3 nœuds (16 Go de RAM, 4 cœurs chacun), en mettant l’accent sur la facilité d’installation et de maintenance, ainsi que le support des volumes persistants et des LoadBalancers.

GitHub Actions
est une plateforme d’automatisation et de CI/CD au sein de GitHub, utilisée pour construire, tester et déployer votre code en fonction d’événements tels que les pushes, les demandes de fusion ou un calendrier.

Voici un fichier d’astuces Docker Compose avec des exemples annotés pour vous aider à maîtriser rapidement les fichiers et les commandes Compose.