Comprendre la concurrence, la mise en file d’attente et comment ajuster OLLAMA_NUM_PARALLEL pour des requêtes parallèles stables.
Ce guide explique comment Ollama gère les requêtes parallèles (concurrence, mise en file d’attente et limites de ressources), et comment l’optimiser à l’aide de la variable d’environnement OLLAMA_NUM_PARALLEL (et des paramètres associés).
Prochaine série de tests LLM
Il y a peu de temps, a été publié. Commençons par un point sur la mise à jour et testons comment Mistral Small se compare aux autres LLMs ici.
Test de détection des fautes de raisonnement
Récemment, nous avons vu plusieurs nouveaux LLM sortir. Des temps excitants. Testons-les et voyons comment ils se débrouillent lorsqu’ils détectent les fautes logiques.
« 8 versions de llama3 (Meta+) et 5 versions de phi3 (Microsoft) »
Testons comment les modèles avec différents nombres de paramètres et de quantification se comportent.
Testons la vitesse des LLM sur GPU vs CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLMs : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.
