Vitesse de génération de tokens de llama.cpp sur 16 Go de VRAM (tableaux).
Voici, je compare la vitesse de plusieurs LLM tournant sur un GPU avec 16 Go de VRAM, et je choisis le meilleur pour l’auto-hébergement.
La RTX 5090 est rare et surcotée en Australie.
L’Australie dispose de stock pour la RTX 5090. À peine. Et si vous en trouvez une, vous paierez une prime qui semble déconnectée de la réalité.
Comparaison des stratégies de découpage dans le RAG
Chunking est le hyperparamètre le plus sous-estimé dans le génération augmentée par recherche (RAG) : il détermine silencieusement ce que votre LLM “voit”, combien coûte l’ingestion, et combien de la fenêtre de contexte de l’LLM vous brûlez par réponse.
Contrôlez les données et les modèles avec des LLM hébergés localement
L’hébergement local des LLM permet de garder les données, les modèles et l’inférence sous votre contrôle : une approche pratique pour atteindre la souveraineté en IA pour les équipes, les entreprises et les nations.
Test de vitesse du LLM sur RTX 4080 avec 16 Go de VRAM
Exécuter des modèles de langage volumineux localement vous offre la confidentialité, la capacité hors ligne et un coût API nul. Ce benchmark révèle exactement ce à quoi on peut s’attendre à partir de 14 modèles populaires LLMs sur Ollama sur un RTX 4080.
Vérification des prix des GPU et RAM en janvier 2025
Aujourd’hui, nous examinons les GPU grand public haut de gamme et les modules de RAM. Plus précisément, j’étudie les prix des RTX-5080 et RTX-5090, ainsi que les modules de 32GB (2x16GB) DDR5 6000.
Choisissez le terminal adapté à votre flux de travail Linux
L’un des outils les plus essentiels pour les utilisateurs de Linux est l’émulateur de terminal (https://www.glukhov.org/fr/developer-tools/terminals-shell/terminal-emulators-for-linux-comparison/ “Linux l’émulateur de terminal”).
Prix AUD réels provenant de détaillants australiens dès maintenant.
Le NVIDIA DGX Spark (GB10 Grace Blackwell) est désormais disponible en Australie chez les principaux détaillants d’ordinateurs avec un stock local. Si vous suivez les prix et la disponibilité mondiaux du DGX Spark, vous serez intéressé de savoir que les prix en Australie varient de 6 249 $ à 7 999 $ AUD selon la configuration de stockage et le détaillant.
Test de Cognee avec des LLM locaux - résultats réels
Cognee est un framework Python permettant de construire des graphes de connaissances à partir de documents en utilisant des LLM. Mais fonctionne-t-il avec des modèles auto-hébergés ?
Comment j'ai résolu les problèmes de réseau sous Ubuntu
Après avoir installé automatiquement un nouveau noyau, Ubuntu 24.04 a perdu la connexion réseau Ethernet. Ce problème frustrant s’est produit une deuxième fois pour moi, donc je documente la solution ici pour aider les autres confrontés au même problème.
Court post, note simplement le prix.
Face à cette volatilité folle des prix de la RAM, afin de mieux comprendre la situation, commençons par suivre nous-mêmes l’évolution des prix de la RAM en Australie.
Les prix de la mémoire vive augmentent de 163 % à 619 % sous la pression de la demande en IA sur l'offre.
Le marché de la mémoire connaît une volatilité des prix sans précédent à la fin 2025, avec une flambée des prix de la RAM spectaculaire dans tous les segments.
Prix des GPU grand public adaptés à l'IA - RTX 5080 et RTX 5090
Comparons les prix des GPU grand public de premier niveau, qui sont particulièrement adaptés aux LLM et à l’IA en général. Plus précisément, j’examine les prix des RTX-5080 et RTX-5090.
Déployez une IA d'entreprise sur du matériel abordable avec des modèles ouverts.
La démocratisation de l’IA est arrivée. Avec des LLM open-source comme Llama, Mistral et Qwen qui rivalisent désormais avec les modèles propriétaires, les équipes peuvent construire une puissante infrastructure IA utilisant du matériel grand public - réduisant les coûts tout en conservant un contrôle total sur la confidentialité des données et le déploiement.
Activez l'accélération GPU pour Docker Model Runner avec prise en charge NVIDIA CUDA
Docker Model Runner est l’outil officiel de Docker pour exécuter des modèles d’IA localement, mais l’activation de l’accélération GPU NVidia dans Docker Model Runner nécessite une configuration spécifique.
