Instalação e início rápido do Hermes Agent para desenvolvedores
O Hermes Agent é um assistente de IA auto-hospedado e agnóstico em relação ao modelo que roda em uma máquina local ou em uma VPS de baixo custo, funciona através de interfaces de terminal e de mensagens, e melhora com o tempo ao transformar tarefas repetidas em habilidades reutilizáveis.
Instale o TGI, desenvolva rapidamente e depure ainda mais rápido.
A Inferência de Geração de Texto (TGI) tem uma energia muito específica. Não é o mais novo na rua da inferência, mas é aquele que já aprendeu como a produção quebra -
Velocidade de tokens do llama.cpp com 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs executados em uma GPU com 16 GB de VRAM, escolhendo o melhor para auto-hospedagem.
A RTX 5090 está escassa e com preço inflado na Austrália.
A Austrália tem estoque de RTX 5090. Quase nada. E se você encontrar uma, pagará um prêmio que parece descolado da realidade.
Acesso remoto ao Ollama sem portas públicas
Ollama está em seu melhor quando é tratado como um daemon local: a CLI e seus aplicativos se comunicam com uma API HTTP em loopback, e o resto da rede nunca fica sabendo que ele existe.
Servidor Ollama com prioridade na composição, suporte a GPU e persistência.
Ollama funciona muito bem em metal nu. Torna-se ainda mais interessante quando tratado como um serviço: um endpoint estável, versões fixas, armazenamento persistente e uma GPU que está disponível ou não.
HTTPS Ollama sem interromper as respostas em streaming.
Executar o Ollama atrás de um proxy reverso é a maneira mais simples de obter HTTPS, controle de acesso opcional e comportamento de streaming previsível.
Embeddings RAG - Python, Ollama, APIs da OpenAI.
Se você está estudando geração aumentada por recuperação (RAG), esta seção explica embeddings de texto de forma simples — o que são, como se encaixam na pesquisa e recuperação, e como chamar duas configurações locais comuns em Python usando Ollama ou uma API HTTP compatível com OpenAI (como muitos servidores baseados em llama.cpp expõem).
Atualize as URLs de push nos motores de busca após a implantação.
Sites estáticos e blogs mudam sempre que você faz o deploy. Motores de busca que suportam IndexNow podem aprender sobre essas mudanças sem esperar pelo próximo rastreamento cego.
Execute modelos abertos com rapidez usando o SGLang.
O SGLang é um framework de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais, construído para fornecer inferência de baixa latência e alto throughput, desde uma única GPU até clusters distribuídos.
Instale o Kafka 4.2 e transmita eventos em minutos.
O Apache Kafka 4.2.0 é a linha de versão suportada atualmente e representa a melhor base para um Quickstart moderno, pois o Kafka 4.x é totalmente livre de ZooKeeper e construído em torno do KRaft por padrão.
Substitua LLMs locais via hot-swap sem alterar os clientes.
Em breve você estará equilibrando vLLM, llama.cpp e mais — cada pilha em sua própria porta. Tudo a jusante ainda deseja uma URL base única /v1; caso contrário, você continua mudando portas, perfis e scripts pontuais. llama-swap é o proxy /v1 antes dessas pilhas.
A maioria das configurações locais de IA começa com um modelo e um tempo de execução.
O que realmente ocorre quando você executa o Ultrawork.
Oh My Opencode promete uma “equipe de desenvolvedores de IA virtual” — Sisyphus orquestrando especialistas, tarefas executando em paralelo e a mágica palavra-chave ultrawork ativando tudo isso.
Teste do LLM OpenCode — estatísticas de codificação e precisão
Testei como o OpenCode funciona com vários LLMs hospedados localmente via Ollama e llama.cpp, e, para comparação, adicionei alguns modelos gratuitos do OpenCode Zen.
Conheça o Sisyphus e sua equipe de agentes especializados.
O maior salto de capacidade no OpenCode vem de agentes especializados: separação deliberada de orquestração, planejamento, execução e pesquisa.
