Compare Docker Model Runner e Ollama para LLM local
Executar modelos de linguagem grandes (LLMs) localmente tornou-se cada vez mais popular por motivos de privacidade, controle de custos e capacidades offline. O cenário mudou significativamente em abril de 2025, quando o Docker introduziu Docker Model Runner (DMR), sua solução oficial para implantação de modelos de IA.
Exemplo passo a passo
Aqui temos um exemplo de Lambda em Python para processador de mensagens SQS + API REST com proteção por chave API + Terraform script para implantar em execução sem servidor.
Exemplos Específicos Utilizando Modelos de Linguagem Pensantes
Neste post, vamos explorar duas maneiras de conectar sua aplicação Python ao Ollama: 1. Via API REST HTTP; 2. Via a biblioteca oficial do Ollama para Python.
APIs ligeiramente diferentes exigem uma abordagem especial.
Aqui está uma comparação lado a lado de suporte para saída estruturada (obter JSON confiável de volta) entre provedores populares de LLM, juntamente com exemplos mínimos de Python
