Test de vitesse du LLM sur RTX 4080 avec 16 Go de VRAM
Exécuter des modèles de langage volumineux localement vous offre la confidentialité, la capacité hors ligne et un coût API nul. Ce benchmark révèle exactement ce à quoi on peut s’attendre à partir de 9 modèles populaires LLMs sur Ollama sur un RTX 4080.
Benchmarks GPT-OSS 120b sur trois plateformes d'IA
J’ai découvert des tests de performance intéressants sur l’exécution du modèle GPT-OSS 120b avec Ollama sur trois plateformes différentes : NVIDIA DGX Spark, Mac Studio, et RTX 4080. Le modèle GPT-OSS 120b de la bibliothèque Ollama pèse 65 Go, ce qui signifie qu’il ne peut pas s’exécuter dans les 16 Go de VRAM d’un RTX 4080 (ou sur le plus récent RTX 5080).
Les puces spécialisées rendent l'inférence d'IA plus rapide et moins coûteuse.
L’avenir de l’IA ne réside pas seulement dans des modèles plus intelligents, mais dans des siliciums plus intelligents.
L’équipement matériel spécialisé pour l’inférence des LLM entraîne une révolution similaire à celle du passage du minage de Bitcoin aux ASICs.
Comparaison de la vitesse, des paramètres et des performances de ces deux modèles
Voici une comparaison entre Qwen3:30b et GPT-OSS:20b
axée sur le suivi des instructions et les performances, les spécifications et la vitesse.
Peu agréable.
Les modèles GPT-OSS d’Ollama présentent régulièrement des problèmes pour gérer les sorties structurées, surtout lorsqu’ils sont utilisés avec des cadres comme LangChain, OpenAI SDK, vllm et d’autres.
Mon propre test de planification du modèle ollama
Ici, je compare la quantité de VRAM allouée par la nouvelle version d’Ollama au modèle par rapport à la version précédente d’Ollama. La nouvelle version est pire.
Pensez-vous à installer une deuxième carte graphique pour les LLM ?
Comment les canaux PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.
Ollama sur processeur Intel : cœurs d'efficacité vs cœurs de performance
J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLM ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne tienne pas dans les 16 Go de VRAM de mon GPU, et qu’il s’exécute partiellement sur le CPU.
L'IA nécessite beaucoup de puissance...
Dans le milieu du chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement chères toutefois.
Configurer ollama pour l'exécution de requêtes en parallèle.
Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.
Prochaine série de tests LLM
Il y a peu de temps, a été publié. Commençons par un point sur la mise à jour et testons comment Mistral Small se compare aux autres LLMs ici.
Test de détection des fautes de raisonnement
Récemment, nous avons vu plusieurs nouveaux LLM sortir. Des temps excitants. Testons-les et voyons comment ils se débrouillent lorsqu’ils détectent les fautes logiques.
« 8 versions de llama3 (Meta+) et 5 versions de phi3 (Microsoft) »
Testons comment les modèles avec différents nombres de paramètres et de quantification se comportent.
Testons la vitesse des LLM sur GPU vs CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLMs : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.
