Docker

O Hermes Agent é um assistente de IA auto-hospedado e agnóstico em relação ao modelo que roda em uma máquina local ou em uma VPS de baixo custo, funciona através de interfaces de terminal e de mensagens, e melhora com o tempo ao transformar tarefas repetidas em habilidades reutilizáveis.

A Inferência de Geração de Texto (TGI) tem uma energia muito específica. Não é o mais novo na rua da inferência, mas é aquele que já aprendeu como a produção quebra -

Ollama funciona muito bem em metal nu. Torna-se ainda mais interessante quando tratado como um serviço: um endpoint estável, versões fixas, armazenamento persistente e uma GPU que está disponível ou não.

O Neo4j é a ferramenta a que você recorre quando as relações são os dados. Se o seu domínio se parece com um quadro branco cheio de círculos e setas, forçá-lo em tabelas é doloroso.

O SGLang é um framework de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais, construído para fornecer inferência de baixa latência e alto throughput, desde uma única GPU até clusters distribuídos.

O Apache Kafka 4.2.0 é a linha de versão suportada atualmente e representa a melhor base para um Quickstart moderno, pois o Kafka 4.x é totalmente livre de ZooKeeper e construído em torno do KRaft por padrão.

Em breve você estará equilibrando vLLM, llama.cpp e mais — cada pilha em sua própria porta. Tudo a jusante ainda deseja uma URL base única /v1; caso contrário, você continua mudando portas, perfis e scripts pontuais. llama-swap é o proxy /v1 antes dessas pilhas.

O desenvolvimento de software envolve Git para controle de versão, Docker para containerização, bash para automação, PostgreSQL para bancos de dados e o VS Code para edição — além de inúmeras outras ferramentas que podem definir ou comprometer sua produtividade. Esta página reúne os resumos de comandos (cheatsheets), fluxos de trabalho e comparações essenciais que você precisa para trabalhar de forma eficiente em toda a pilha de desenvolvimento.

OpenHands é uma plataforma de código aberto e agnóstica em relação ao modelo para agentes de desenvolvimento de software impulsionados por IA. Ele permite que um agente se comporte mais como um parceiro de programação do que como uma simples ferramenta de autocompletar.

O LocalAI é um servidor de inferência de auto-hospedagem, com prioridade local, projetado para funcionar como uma API OpenAI plug-and-play para executar cargas de trabalho de IA no seu próprio hardware (laptop, estação de trabalho ou servidor local).

A inferência de LLM parece ser “apenas outra API” — até que a latência dispare, as filas se acumulem e suas GPUs fiquem com 95% de memória sem uma explicação óbvia.

O OpenClaw é um assistente de IA auto-hospedado projetado para executar com tempos de execução de LLM locais, como o Ollama, ou com modelos baseados em nuvem, como o Claude Sonnet.

O ecossistema Go continua a prosperar com projetos inovadores que abrangem ferramentas de IA, aplicativos auto-hospedados e infraestrutura de desenvolvimento. Esta análise examina os repositórios Go mais populares no GitHub deste mês.

Open WebUI é uma interface web auto-hospedada poderosa, extensível e repleta de recursos para interação com grandes modelos de linguagem.

vLLM é um motor de inferência e serviço de alto rendimento e eficiente em memória para Grandes Modelos de Linguagem (LLMs), desenvolvido pelo Laboratório de Computação Sky da UC Berkeley.

Cognee é um framework em Python para construir grafos de conhecimento a partir de documentos usando LLMs. Mas ele funciona com modelos auto-hospedados?