LLM

Les modèles GPT-OSS d’Ollama rencontrent régulièrement des problèmes pour gérer les sorties structurées, surtout lorsqu’ils sont utilisés avec des cadres comme LangChain, OpenAI SDK, vllm et d’autres.

Voici une comparaison côte à côte du support de sortie structurée (obtenir un JSON fiable) auprès des fournisseurs d’LLM populaires, ainsi que des exemples minimalistes en Python

Les grands modèles de langage (LLMs) sont puissants, mais en production, nous souhaitons rarement des paragraphes libres. Au contraire, nous voulons des données prévisibles : des attributs, des faits ou des objets structurés que vous pouvez alimenter dans une application. C’est la sortie structurée des LLM.

Ici, je compare combien de VRAM la nouvelle version d’Ollama alloue au modèle
par rapport à la version précédente d’Ollama. La nouvelle version est pire.

Ollama a rapidement devenu l’un des outils les plus populaires pour exécuter localement des LLM (Large Language Models). Son interface CLI simple et sa gestion des modèles optimisée ont fait de lui une option privilégiée pour les développeurs souhaitant travailler avec des modèles d’IA hors du cloud. Mais comme c’est souvent le cas avec de nombreuses plateformes prometteuses, des signes d’Enshittification apparaissent déjà :

L’hébergement local de Ollama permet d’exécuter des modèles de langage volumineux sur votre propre machine, mais son utilisation via la ligne de commande n’est pas très conviviale.
Voici plusieurs projets open source qui proposent des interfaces du style ChatGPT qui se connectent à un Ollama local.

Nvidia est sur le point de lancer le NVIDIA DGX Spark – un petit superordinateur d’IA basé sur l’architecture Blackwell, doté d’une mémoire unifiée de 128+Go et d’une performance d’IA de 1 PFLOPS. Un appareil intéressant pour exécuter les LLM.

Ici, nous avons une description du Model Context Protocol (MCP), des notes brèves sur la manière d’implémenter un serveur MCP en Go, comprenant la structure des messages et les spécifications du protocole.

Comme Ollama standard ne dispose pas d’API de rerank directe, vous devrez implémenter le reranking avec Qwen3 Reranker en GO en générant des embeddings pour les paires de requêtes et de documents et en les notant.

Dans ce test, je suis en comparant comment différents LLMs hébergés sur Ollama traduisent une page Hugo en anglais vers l’allemand.
Trois pages que j’ai testées portaient sur des sujets différents, comportaient un joli markdown avec une certaine structure : titres, listes, tableaux, liens, etc.

Ce petit exemple de code Go pour le reranking appelle Ollama pour générer des embeddings pour la requête et pour chaque document candidat, puis trie par ordre décroissant de similarité cosinus.

Les modèles Qwen3 Embedding and Reranker sont les dernières sorties de la famille Qwen, spécifiquement conçus pour des tâches avancées d’embedding de texte, de récupération et de réordonnancement.

Comment les voies PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.

Dans la bibliothèque de modèles Ollama, il existe des modèles capables de convertir du contenu HTML en Markdown, ce qui est utile pour les tâches de conversion de contenu.

• Recherche est idéale pour une récupération rapide et directe d’informations à l’aide de mots-clés.
• Recherche approfondie excelle dans la compréhension du contexte et de l’intention, livrant des résultats plus pertinents et complets pour des requêtes complexes.