Comment Ollama gère les requêtes parallèles
Configurer ollama pour l'exécution de requêtes en parallèle.
Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.
Hardware
Installation du pilote Linux Epson EcoTank ET-8500
C'est beaucoup plus simple par rapport aux anciens pilotes d'imprimante.
L’installation de l’ET-8500 sous Windows est bien documentée dans les instructions. L’installation du pilote Linux ET-8500 est simple mais pas triviale.
Test de vitesse des grands modèles de langage
Testons la vitesse des LLM sur GPU par rapport au CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLM (modèles de langage grand public) : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.