Quelques façons d'obtenir une sortie structurée avec Ollama
Modèles de langage de grande taille (LLM) sont puissants, mais en production nous ne voulons rarement de paragraphes en texte libre. Au contraire, nous voulons des données prévisibles : des attributs, des faits ou des objets structurés que vous pouvez injecter dans une application. C’est là que les Sorties structurées des LLM interviennent.
Mon propre test de planification du modèle ollama
Ici, je compare la quantité de VRAM allouée par la nouvelle version d’Ollama au modèle par rapport à la version précédente d’Ollama. La nouvelle version est pire.
Envisagez-vous d’installer un second GPU pour les LLM ?
Comment les voies PCIe affectent les performances des LLM? Cela dépend de la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.
Ollama sur processeur Intel : cœurs d'efficacité vs cœurs de performance
J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLM ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne tienne pas dans les 16 Go de VRAM de mon GPU, et qu’il s’exécute partiellement sur le CPU.
L'IA nécessite beaucoup de puissance...
Au milieu de l’agitation du monde moderne, je compare les spécifications techniques de différentes cartes adaptées aux tâches d’IA (Apprentissage profond, Détection d’objets et LLMs). Elles sont toutes incroyablement chères, cependant.
Comprendre la concurrence, la mise en file d'attente et le réglage de OLLAMA_NUM_PARALLEL dans Ollama pour des requêtes parallèles stables.
Ce guide explique la gestion des requêtes parallèles par Ollama (concurrence, file d’attente et limites de ressources) et comment l’optimiser à l’aide de la variable d’environnement OLLAMA_NUM_PARALLEL (et de paramètres associés).
Prochaine série de tests LLM
Il y a peu de temps, a été publié. Commençons par un point sur la mise à jour et testons comment Mistral Small se compare aux autres LLMs ici.
Test de détection des fautes de raisonnement
Récemment, nous avons vu plusieurs nouveaux LLM sortir. Des temps excitants. Testons-les et voyons comment ils se débrouillent lorsqu’ils détectent les fautes logiques.
« 8 versions de llama3 (Meta+) et 5 versions de phi3 (Microsoft) »
Testons comment les modèles avec différents nombres de paramètres et de quantification se comportent.
Testons la vitesse des LLM sur GPU vs CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLMs : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.
