Compare Docker Model Runner y Ollama para LLM local
Running large language models (LLMs) locally ha ganado popularidad en los últimos tiempos por razones de privacidad, control de costos y capacidades fuera de línea. El panorama cambió significativamente en abril de 2025 cuando Docker introdujo Docker Model Runner (DMR), su solución oficial para la implementación de modelos de IA.
Ejemplo paso a paso
Aquí tenemos un ejemplo de Lambda en Python para procesador de mensajes SQS + API REST con protección mediante clave API + Terraform script para desplegarlo en ejecución sin servidor.
Ejemplos Específicos Utilizando Modelos de Lenguaje Pensantes
En este artículo, exploraremos dos formas de conectar su aplicación Python con Ollama: 1. A través del API REST HTTP; 2. A través de la biblioteca oficial de Ollama para Python.
Las APIs ligeramente diferentes requieren un enfoque especial.
Aquí tienes una comparación de soporte lado a lado de salida estructurada (obtener JSON confiable) entre proveedores populares de LLM, más ejemplos mínimos en Python
