Hardware

Comment Ollama gère les requêtes parallèles

Comment Ollama gère les requêtes parallèles

Comprendre la concurrence, la mise en file d'attente et le réglage de OLLAMA_NUM_PARALLEL dans Ollama pour des requêtes parallèles stables.

Ce guide explique la gestion des requêtes parallèles par Ollama (concurrence, file d’attente et limites de ressources) et comment l’optimiser à l’aide de la variable d’environnement OLLAMA_NUM_PARALLEL (et de paramètres associés).

Test de vitesse des grands modèles de langage

Test de vitesse des grands modèles de langage

Testons la vitesse des LLM sur GPU vs CPU

Comparaison de la vitesse de prédiction de plusieurs versions de LLMs : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.