Hardware

Il y a à peine trois mois, on ne voyait pas encore les RTX 5090 en magasin, et maintenant elles sont disponibles, mais les prix sont légèrement plus élevés que le MRSP.

Comparons les prix les plus bas des RTX 5080 et RTX 5090 en Australie et voyons comment les choses évoluent.

Système automatisé de pointe pour une tâche incroyable.

Comment les voies PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.

J’ai été fortement touché par ce problème. Mais vous devriez investiguer et tester votre PC si votre écran bleu (BSOD) est similaire au mien.
La cause était le problème de dégradation du processeur d’Intel dans les générations 13e et 14e.

J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.

Dans le chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement coûteuses toutefois.

Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.

Comparaison de la vitesse de prédiction de plusieurs versions de LLM (modèles de langage grand public) : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.