LLM

Nvidia est sur le point de lancer le NVIDIA DGX Spark – un petit superordinateur d’IA basé sur l’architecture Blackwell, doté d’une mémoire unifiée de 128+Go et d’une performance d’IA de 1 PFLOPS. Un appareil intéressant pour exécuter les LLM.

Ici, nous avons une description du Model Context Protocol (MCP), des notes brèves sur la manière d’implémenter un serveur MCP en Go, comprenant la structure des messages et les spécifications du protocole.

Comme Ollama standard ne dispose pas d’API de rerank directe, vous devrez implémenter le reranking avec Qwen3 Reranker en GO en générant des embeddings pour les paires de requêtes et de documents et en les notant.

Dans ce test, je suis en comparant comment différents LLMs hébergés sur Ollama traduisent une page Hugo en anglais vers l’allemand.
Trois pages que j’ai testées portaient sur des sujets différents, comportaient un joli markdown avec une certaine structure : titres, listes, tableaux, liens, etc.

Ce petit exemple de code Go pour le reranking appelle Ollama pour générer des embeddings pour la requête et pour chaque document candidat, puis trie par ordre décroissant de similarité cosinus.

Les modèles Qwen3 Embedding and Reranker sont les dernières sorties de la famille Qwen, spécifiquement conçus pour des tâches avancées d’embedding de texte, de récupération et de réordonnancement.

Comment les voies PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.

Dans la bibliothèque de modèles Ollama, il existe des modèles capables de convertir du contenu HTML en Markdown, ce qui est utile pour les tâches de conversion de contenu.

• Recherche est idéale pour une récupération rapide et directe d’informations à l’aide de mots-clés.
• Recherche approfondie excelle dans la compréhension du contexte et de l’intention, livrant des résultats plus pertinents et complets pour des requêtes complexes.

Voici une liste d’outils d’assistance au codage basés sur l’intelligence artificielle (IA) et leurs avantages.

L’utilisation des LLM n’est pas très coûteuse, il n’y a peut-être pas besoin d’acheter un nouveau GPU impressionnant. Voici une liste des fournisseurs de LLM en nuage avec les LLM qu’ils hébergent.

J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.

Dans le chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement coûteuses toutefois.

Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.

Vibe coding est une approche de programmation pilotée par l’IA où les développeurs décrivent les fonctionnalités souhaitées en langage naturel, permettant aux outils d’IA de générer automatiquement du code.

DeepSeek’s première génération de modèles de raisonnement avec des performances comparables à celles d’OpenAI-o1,
y compris six modèles denses distillés à partir de DeepSeek-R1 basés sur Llama et Qwen.