Self-Hosting

Ollama tornou-se rapidamente uma das ferramentas mais populares para executar LLMs localmente.
Sua CLI simples e gestão de modelos aprimorada tornaram-na uma opção preferida para desenvolvedores que desejam trabalhar com modelos de IA fora da nuvem.
Mas, assim como com muitas plataformas promissoras, já existem sinais de Enshittification:

Mumble é uma aplicação de voz sobre IP (VoIP) gratuita e de código aberto, projetada principalmente para comunicação de voz em tempo real. Ela utiliza uma arquitetura cliente-servidor, onde os usuários se conectam a um servidor compartilhado para conversar entre si.

O Ollama hospedado localmente permite executar modelos de linguagem grandes em sua própria máquina, mas usá-lo via linha de comando não é amigável para o usuário.
Aqui estão vários projetos de código aberto que fornecem interfaces do estilo ChatGPT que se conectam a um Ollama local.

Aplicações de monitoramento de carga da GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Aqui está um passo a passo para a instalação de um cluster K3s com 3 nós em servidores de metal nu (1 mestre + 2 trabalhadores).

Comparando distribuições de self-hosting Kubernetes para hospedagem em servidores bare-metal ou domésticos, com foco na facilidade de instalação, desempenho, requisitos do sistema e conjuntos de recursos.

Estou comparando variantes de Kubernetes auto-hospedado que se adequam ao homelab baseado no Ubuntu com 3 nós (16 GB de RAM, 4 núcleos cada), focando na facilidade de instalação e manutenção, suporte para volumes persistentes e LoadBalancers.

GitHub Actions é uma plataforma de automação e CI/CD dentro do GitHub, usada para construir, testar e implantar seu código com base em eventos como pushes, pull requests ou em um agendamento.

Aqui está uma
Docker Compose cheatsheet
com exemplos anotados para ajudá-lo a dominar os arquivos e comandos do Compose rapidamente.

Aqui está uma análise detalhada de
Obsidian como uma ferramenta poderosa para gestão do conhecimento pessoal (GKP),
explicando sua arquitetura, funcionalidades, vantagens e como apoia fluxos de trabalho modernos de conhecimento.

Nvidia está prestes a lançar NVIDIA DGX Spark - pequeno supercomputador de IA baseado na arquitetura Blackwell com 128+GB de memória unificada e 1 PFLOPS de desempenho de IA. Dispositivo interessante para executar LLMs.

Vamos dar uma rápida olhada em Matomo, Plausible, google e outros provedores e sistemas de análise web disponíveis para auto-hospedagem e compará-los.

Aqui está meu conjunto favorito de passos ao fazer instalação limpa do Ubuntu 24.04. O que eu gosto aqui é que não é necessário instalar drivers da NVidia! Eles são instalados automaticamente.

Dokuwiki é um wikipedia auto-hospedado que pode ser hospedado facilmente no local e não requer nenhum banco de dados. Estava executando-o dockerizado, no meu cluster kubernetes pessoal.

Vamos comparar preços para GPUs de topo de linha para consumidores, que são adequadas para LLMs em particular e para IA em geral. Especificamente, dê uma olhada em preços da RTX 5080 e RTX 5090. Eles tiveram uma leve queda.

Apache Airflow é uma plataforma de código aberto projetada para autorizar, agendar e monitorar fluxos de trabalho de forma programática, totalmente em código Python, oferecendo uma alternativa flexível e poderosa aos ferramentas tradicionais, manuais ou baseadas em interface gráfica de fluxos de trabalho.