LLM

Em breve você estará equilibrando vLLM, llama.cpp e mais — cada pilha em sua própria porta. Tudo a jusante ainda deseja uma URL base única /v1; caso contrário, você continua mudando portas, perfis e scripts pontuais. llama-swap é o proxy /v1 antes dessas pilhas.

A maioria das configurações locais de IA começa com um modelo e um tempo de execução.

Oh My Opencode promete uma “equipe de desenvolvedores de IA virtual” — Sisyphus orquestrando especialistas, tarefas executando em paralelo e a mágica palavra-chave ultrawork ativando tudo isso.

Testei como o OpenCode funciona com vários LLMs hospedados localmente via Ollama e llama.cpp, e, para comparação, adicionei alguns modelos gratuitos do OpenCode Zen.

O maior salto de capacidade no OpenCode vem de agentes especializados: separação deliberada de orquestração, planejamento, execução e pesquisa.

OpenHands é uma plataforma de código aberto e agnóstica em relação ao modelo para agentes de desenvolvimento de software impulsionados por IA. Ele permite que um agente se comporte mais como um parceiro de programação do que como uma simples ferramenta de autocompletar.

O LocalAI é um servidor de inferência de auto-hospedagem, com prioridade local, projetado para funcionar como uma API OpenAI plug-and-play para executar cargas de trabalho de IA no seu próprio hardware (laptop, estação de trabalho ou servidor local).

O Oh My Opencode transforma o OpenCode em um harness de codificação multi-agente: um orquestrador delega trabalhos para agentes especialistas que executam em paralelo.

Volto sempre ao llama.cpp para inferência local — ele oferece controle que o Ollama e outros abstraem, e simplesmente funciona. É fácil executar modelos GGUF interativamente com llama-cli ou expor uma API HTTP compatível com OpenAI com llama-server.

A Inteligência Artificial está remodelando a maneira como o software é escrito, revisado, implantado e mantido. Desde assistentes de codificação com IA até automação GitOps e fluxos de trabalho DevOps, os desenvolvedores agora dependem de ferramentas alimentadas por IA em todo o ciclo de vida do software.

OpenCode é um agente de codificação com IA de código aberto que você pode executar no terminal (TUI + CLI), com superfícies opcionais para desktop e IDE. Este é o OpenCode Quickstart: instale, verifique, conecte um modelo provedor e execute fluxos de trabalho reais (CLI + API).

A inferência de LLM parece ser “apenas outra API” — até que a latência dispare, as filas se acumulem e suas GPUs fiquem com 95% de memória sem uma explicação óbvia.

O OpenClaw é um assistente de IA hospedado localmente projetado para funcionar com tempos de execução de LLM locais, como o Ollama, ou com modelos baseados em nuvem, como o Claude Sonnet.

A maioria das configurações de IA local começa da mesma forma: um modelo, um tempo de execução e uma interface de chat.

Temporal é um mecanismo de fluxo de trabalho (workflow) de nível empresarial e de código aberto que permite aos desenvolvedores construir aplicações de fluxo de trabalho duráveis, escaláveis e tolerantes a falhas, utilizando linguagens de programação familiares como Go.

Os sistemas LLM falham de maneiras que a monitorização de APIs tradicional não consegue revelar — as filas enchem silenciosamente, a memória da GPU satura muito antes que a CPU pareça ocupada e a latência explode na camada de agrupamento (batching) em vez da camada de aplicação. Este guia cobre uma estratégia de ponta a ponta de observabilidade para inferência LLM e aplicações LLM: o que medir, como instrumentar com Prometheus, OpenTelemetry e Grafana, e como implementar o pipeline de telemetia em escala.