Comparez Docker Model Runner et Ollama pour le LLM local
Exécuter des grands modèles de langage (LLMs) localement a devenu de plus en plus populaire pour la confidentialité, le contrôle des coûts et les capacités hors ligne. Le paysage a changé de manière significative en avril 2025 lorsque Docker a introduit Docker Model Runner (DMR), sa solution officielle pour le déploiement de modèles d’IA.
Exemple étape par étape
Voici un exemple de traitement de message SQS avec Python Lambda + API REST avec protection par clé API + Terraform script pour le déployer en exécution serverless.
+ Exemples concrets utilisant des LLM de réflexion
Dans cet article, nous allons explorer deux façons de connecter votre application Python à Ollama : 1. Via HTTP REST API ; 2. Via la bibliothèque Python officielle d’Ollama.
Les API légèrement différentes nécessitent une approche spécifique.
Voici une comparaison côte à côte du support de sortie structurée (obtenir un JSON fiable) auprès des fournisseurs d’LLM populaires, ainsi que des exemples minimalistes en Python
