Vitesse de génération de tokens de llama.cpp sur 16 Go de VRAM (tableaux).
Voici, je compare la vitesse de plusieurs LLM tournant sur un GPU avec 16 Go de VRAM, et je choisis le meilleur pour l’auto-hébergement.
La RTX 5090 est rare et surcotée en Australie.
L’Australie dispose de stock pour la RTX 5090. À peine. Et si vous en trouvez une, vous paierez une prime qui semble déconnectée de la réalité.
Serveur Ollama orienté composition, avec GPU et persistance.
Ollama fonctionne parfaitement sur du matériel nu. Cela devient encore plus intéressant lorsque vous le traitez comme un service : une extrémité stable, des versions figées, un stockage persistant et une GPU qui est soit disponible, soit non.
Test de vitesse du LLM sur RTX 4080 avec 16 Go de VRAM
Exécuter des modèles de langage volumineux localement vous offre la confidentialité, la capacité hors ligne et un coût API nul. Ce benchmark révèle exactement ce à quoi on peut s’attendre à partir de 14 modèles populaires LLMs sur Ollama sur un RTX 4080.
Choisissez le terminal adapté à votre flux de travail Linux
L’un des outils les plus essentiels pour les utilisateurs de Linux est l’émulateur de terminal (https://www.glukhov.org/fr/developer-tools/terminals-shell/terminal-emulators-for-linux-comparison/ “Linux l’émulateur de terminal”).
Prix AUD réels provenant de détaillants australiens dès maintenant.
Le NVIDIA DGX Spark (GB10 Grace Blackwell) est désormais disponible en Australie chez les principaux détaillants d’ordinateurs avec un stock local. Si vous suivez les prix et la disponibilité mondiaux du DGX Spark, vous serez intéressé de savoir que les prix en Australie varient de 6 249 $ à 7 999 $ AUD selon la configuration de stockage et le détaillant.
Prix des GPU grand public adaptés à l'IA - RTX 5080 et RTX 5090
Comparons les prix des GPU grand public de premier niveau, qui sont particulièrement adaptés aux LLM et à l’IA en général. Plus précisément, j’examine les prix des RTX-5080 et RTX-5090.
Unifiez le texte, les images et l'audio dans des espaces d'embedding partagés
Embeddings crois-modaux représentent une avancée majeure en intelligence artificielle, permettant de comprendre et de raisonner à travers différents types de données au sein d’un espace de représentation unifié.
Déployez une IA d'entreprise sur du matériel abordable avec des modèles ouverts.
La démocratisation de l’IA est arrivée. Avec des LLM open-source comme Llama, Mistral et Qwen qui rivalisent désormais avec les modèles propriétaires, les équipes peuvent construire une puissante infrastructure IA utilisant du matériel grand public - réduisant les coûts tout en conservant un contrôle total sur la confidentialité des données et le déploiement.
Configurez les tailles de contexte dans Docker Model Runner avec des contournements
Configuration des tailles de contexte dans Docker Model Runner est plus complexe qu’elle ne devrait l’être.
Modèle d'IA pour augmenter des images à l'aide d'instructions textuelles
Black Forest Labs a publié FLUX.1-Kontext-dev, un modèle avancé d’IA de transformation d’images qui améliore les images existantes à l’aide d’instructions textuelles.
Activez l'accélération GPU pour Docker Model Runner avec prise en charge NVIDIA CUDA
Docker Model Runner est l’outil officiel de Docker pour exécuter des modèles d’IA localement, mais l’activation de l’accélération GPU NVidia dans Docker Model Runner nécessite une configuration spécifique.
Benchmarks GPT-OSS 120b sur trois plateformes d'IA
J’ai découvert des tests de performance intéressants sur l’exécution du modèle GPT-OSS 120b avec Ollama sur trois plateformes différentes : NVIDIA DGX Spark, Mac Studio, et RTX 4080. Le modèle GPT-OSS 120b de la bibliothèque Ollama pèse 65 Go, ce qui signifie qu’il ne peut pas s’exécuter dans les 16 Go de VRAM d’un RTX 4080 (ou sur le plus récent RTX 5080).
Référence rapide des commandes Docker Model Runner
Docker Model Runner (DMR) est la solution officielle de Docker pour exécuter des modèles d’IA localement, introduite en avril 2025. Cette fiche pratique fournit un référentiel rapide pour toutes les commandes essentielles, les configurations et les bonnes pratiques.
Comparez Docker Model Runner et Ollama pour un LLM local
Exécuter des grands modèles de langage (LLMs) localement a de plus en plus de popularité pour la confidentialité, le contrôle des coûts et les capacités hors ligne. Le paysage s’est considérablement transformé en avril 2025 lorsque Docker a introduit Docker Model Runner (DMR), sa solution officielle pour le déploiement de modèles d’IA.
Disponibilité, prix de vente réels dans six pays et comparaison avec le Mac Studio.
NVIDIA DGX Spark est bien réel, en vente depuis le 15 octobre 2025, et destiné aux développeurs CUDA ayant besoin de travailler localement avec des LLM grâce à une pile IA NVIDIA intégrée. Le prix de détail US est de 3 999 $ ; les prix de détail au Royaume-Uni/Allemagne/Japon sont plus élevés en raison de la TVA et des canaux de distribution. Les prix publics en AUD/KRW ne sont pas encore largement affichés.
