SelfHosting

Início Rápido do Vane (Perplexica 2.0) com Ollama e llama.cpp

Início Rápido do Vane (Perplexica 2.0) com Ollama e llama.cpp

Busca de IA autohospedada com LLMs locais

Vane é uma das entradas mais pragmáticas no espaço de “busca de IA com citações”: um motor de respostas auto-hospedado que combina recuperação da web em tempo real com LLMs locais ou na nuvem, mantendo toda a pilha sob seu controle.

SGLang QuickStart: Instale, Configure e Execute LLMs via API OpenAI

SGLang QuickStart: Instale, Configure e Execute LLMs via API OpenAI

Execute modelos abertos com rapidez usando o SGLang.

O SGLang é um framework de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais, construído para fornecer inferência de baixa latência e alto throughput, desde uma única GPU até clusters distribuídos.

Início Rápido do llama.cpp com CLI e Servidor

Início Rápido do llama.cpp com CLI e Servidor

Como Instalar, Configurar e Utilizar o OpenCode

Volto sempre ao llama.cpp para inferência local — ele oferece controle que o Ollama e outros abstraem, e simplesmente funciona. É fácil executar modelos GGUF interativamente com llama-cli ou expor uma API HTTP compatível com OpenAI com llama-server.