En juillet 2025, il devrait bientôt être disponible
Nvidia est sur le point de lancer le NVIDIA DGX Spark - un petit superordinateur d’IA basé sur l’architecture Blackwell, avec plus de 128 Go de mémoire unifiée et une performance d’IA de 1 PFLOPS. Un appareil intéressant pour exécuter les LLM.
Mise à jour des prix des GPU adaptés à l'IA - RTX 5080 et RTX 5090
Commençons par comparer les prix des cartes graphiques grand public de haut niveau, qui sont particulièrement adaptées aux LLM et à l’IA en général.
Regardez spécifiquement :
RTX 5080 et RTX 5090 prices. Ils ont légèrement baissé.
Vérification de la réalité des prix - RTX 5080 et RTX 5090
Il y a à peine trois mois, on ne voyait pas encore les RTX 5090 en magasin, et maintenant elles sont disponibles, mais les prix sont légèrement plus élevés que le MRSP.
Comparons les prix les plus bas des RTX 5080 et RTX 5090 en Australie et voyons comment les choses évoluent.
Plus de RAM, moins de puissance, et tout de même aussi cher que...
Système automatisé de pointe pour une tâche incroyable.
Pensez-vous à installer une deuxième carte graphique pour les LLM ?
Comment les voies PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.
Et pourquoi ai-je été confronté à cet écran bleu de la mort...
J’ai été fortement touché par ce problème. Mais vous devriez investiguer et tester votre PC si votre écran bleu (BSOD) est similaire au mien.
La cause était le problème de dégradation du processeur d’Intel dans les générations 13e et 14e.
Ollama sur processeur Intel : cœurs d'efficacité vs cœurs de performance
J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.
L'IA nécessite beaucoup de puissance...
Dans le chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement coûteuses toutefois.
Configurer ollama pour l'exécution de requêtes en parallèle.
Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.
C'est beaucoup plus simple par rapport aux anciens pilotes d'imprimante.
L’installation de l’ET-8500 sous Windows est bien documentée dans les instructions. L’installation du pilote Linux ET-8500 est simple mais pas triviale.
Testons la vitesse des LLM sur GPU par rapport au CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLM (modèles de langage grand public) : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.
