Hardware

Docker Model Runner est l’outil officiel de Docker pour exécuter des modèles d’IA localement, mais l’activation de l’accélération GPU NVidia dans Docker Model Runner nécessite une configuration spécifique.

J’ai découvert quelques tests de performance intéressants du modèle GPT-OSS 120b exécuté sur Ollama sur trois plateformes différentes : NVIDIA DGX Spark, Mac Studio et RTX 4080. Le modèle GPT-OSS 120b de la bibliothèque Ollama pèse 65 Go, ce qui signifie qu’il ne peut pas s’adapter dans les 16 Go de VRAM d’une RTX 4080 (ou même sur la nouvelle RTX 5080).

Docker Model Runner (DMR) est la solution officielle de Docker pour exécuter des modèles d’IA localement, introduite en avril 2025. Cette fiche de référence fournit un aperçu rapide de toutes les commandes essentielles, configurations et bonnes pratiques.

Dans le paysage actuel de l’informatique, la virtualisation est devenue essentielle pour le développement, les tests et le fonctionnement de plusieurs systèmes d’exploitation. Pour les utilisateurs de Linux souhaitant gérer des machines virtuelles de manière simple et intuitive, GNOME Boxes se distingue comme une option légère et conviviale qui privilégie l’ergonomie sans sacrifier la fonctionnalité.

L’avenir de l’IA ne concerne pas seulement des modèles plus intelligents [https://www.glukhov.org/fr/post/2025/06/qwen3-embedding-qwen3-reranker-on-ollama/ “Modèles Qwen3 embedding et reranker - performance d’avant-garde”] - il concerne des siliciums plus intelligents.
L’évolution vers un matériel spécialisé pour l’inférence des LLM entraîne une révolution similaire à celle du passage du minage de Bitcoin aux ASICs.

NVIDIA DGX Spark est réel, disponible à la vente le 15 octobre 2025, et ciblé aux développeurs CUDA ayant besoin de travail local avec des LLM avec une pile AI NVIDIA intégrée. Prix de vente au détail aux États-Unis $3 999 ; le prix de vente au détail UK/DE/JP est plus élevé en raison de la TVA et des canaux. Les prix publics AUD/KRW ne sont pas encore largement affichés.

Encore et encore, comparons les prix des cartes graphiques grand public de haut niveau, qui sont particulièrement adaptées aux LLM et en général à l’IA. Plus précisément, je regarde les prix de l’RTX-5080 et de l’RTX-5090. Ils ont légèrement baissé.

Applications de surveillance de la charge du GPU :
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia est sur le point de lancer le NVIDIA DGX Spark – un petit superordinateur d’IA basé sur l’architecture Blackwell, doté d’une mémoire unifiée de 128+Go et d’une performance d’IA de 1 PFLOPS. Un appareil intéressant pour exécuter les LLM.

Commençons par comparer les prix des meilleures cartes graphiques grand public, adaptées en particulier aux LLM et à l’IA en général. Examinons plus précisément les prix de la RTX 5080 et de la RTX 5090. Ils ont légèrement baissé.

Il y a à peine trois mois, on ne trouvait pas la RTX 5090 en magasin, et maintenant, elle est disponible, mais les prix sont légèrement plus élevés que le MRSP.

Commençons par comparer les meilleurs prix pour la RTX 5080 et la RTX 5090 en Australie et voyons comment les choses évoluent.

Système automatisé de pointe pour une tâche incroyable.

Comment les voies PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.

J’ai été fortement touché par ce problème. Mais vous devriez investiguer et tester votre PC si votre écran bleu (BSOD) est similaire au mien.
La cause était le problème de dégradation du processeur d’Intel dans les générations 13e et 14e.

J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.

Dans le chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement coûteuses toutefois.