Comprendre la concurrence, la mise en file d'attente et le réglage de OLLAMA_NUM_PARALLEL dans Ollama pour des requêtes parallèles stables.
Ce guide explique la gestion des requêtes parallèles par Ollama (concurrence, file d’attente et limites de ressources) et comment l’optimiser à l’aide de la variable d’environnement OLLAMA_NUM_PARALLEL (et de paramètres associés).
Programmation assistée par l'IA où vous décrivez, sans taper.
Le « Vibe coding » est une approche de programmation pilotée par l’IA où les développeurs décrivent les fonctionnalités souhaitées en langage naturel et laissent des outils d’IA générer le code automatiquement — avec une écriture directe minimale.
« Comparaison de deux modèles deepseek-r1 avec deux modèles de base »
DeepSeek’s première génération de modèles de raisonnement avec des performances comparables à celles d’OpenAI-o1, incluant six modèles denses distillés à partir de DeepSeek-R1 basés sur Llama et Qwen.
Liste mise à jour des commandes Ollama – ls, ps, run, serve, etc.
Cette Aide-mémoire CLI Ollama se concentre sur les commandes que vous utilisez au quotidien (ollama ls, ollama serve, ollama run, ollama ps, la gestion des modèles et les flux de travail courants), avec des exemples que vous pouvez copier/coller.
Prochaine série de tests LLM
Il y a peu de temps, a été publié. Commençons par un point sur la mise à jour et testons comment Mistral Small se compare aux autres LLMs ici.
Un code Python pour le reranking de RAG
Un nouveau modèle d'IA incroyable capable de générer une image à partir de texte
Récemment, Black Forest Labs a publié un ensemble de
modèles d’IA texte à image.
Ces modèles sont dit avoir une qualité de sortie bien plus élevée.
Essayons-les
Comparaison de deux moteurs de recherche IA auto-hébergés
Une excellente cuisine est aussi un plaisir pour les yeux. Mais dans cet article, nous allons comparer deux systèmes de recherche basés sur l’IA, Farfalle et Perplexica.
Exécuter un service de style Copilot en local ? C'est facile !
C’est très excitant ! Au lieu d’appeler Copilot ou Perplexity.ai et de révéler à tout le monde ce que vous recherchez, vous pouvez désormais héberger un service similaire sur votre propre PC ou ordinateur portable !
« Il n’y en a pas tant à choisir, mais quand même… »
Lorsque j’ai commencé à expérimenter avec les LLM, leurs interfaces utilisateur étaient en plein développement et aujourd’hui, certaines d’entre elles sont vraiment excellentes.
Test de détection des fautes de raisonnement
Récemment, nous avons vu plusieurs nouveaux LLM sortir. Des temps excitants. Testons-les et voyons comment ils se débrouillent lorsqu’ils détectent les fautes logiques.
Exige quelques expérimentations mais
Il existe toutefois quelques approches courantes pour rédiger des prompts efficaces afin que le modèle de langage ne se confonde pas en tentant de comprendre ce que vous souhaitez.
« 8 versions de llama3 (Meta+) et 5 versions de phi3 (Microsoft) »
Testons comment les modèles avec différents nombres de paramètres et de quantification se comportent.
Les fichiers de modèles LLM d’Ollama occupent beaucoup d’espace
Après l’installation d’Ollama, il est préférable de reconfigurer Ollama immédiatement pour les stocker au nouvel emplacement. Ainsi, lorsqu’un nouveau modèle est récupéré, il ne sera pas téléchargé à l’ancien emplacement.
Testons la vitesse des LLM sur GPU vs CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLMs : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.
Testons la qualité de détection des fautes logiques de différents LLMs
Ici, je compare plusieurs versions de LLM : Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo (Mistral AI) et Qwen (Alibaba).
