Self-Hosting

Ollama ha pasado rápidamente a ser una de las herramientas más populares para ejecutar LLMs localmente.
Su CLI simple y su gestión de modelos optimizada han hecho que sea una opción favorita para desarrolladores que desean trabajar con modelos de IA fuera de la nube.
Pero, al igual que con muchas plataformas prometedoras, ya hay señales de Enshittification:

Mumble es una aplicación de voz sobre IP (VoIP) gratuita y de código abierto diseñada principalmente para la comunicación de voz en tiempo real. Utiliza una arquitectura cliente-servidor donde los usuarios se conectan a un servidor compartido para hablar entre sí.

Locally hosted Ollama permite ejecutar modelos de lenguaje grandes en tu propia máquina, pero usarlo desde la línea de comandos no es muy amigable para el usuario. Aquí hay varios proyectos de código abierto que ofrecen interfaces estilo ChatGPT que se conectan a un Ollama local.

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Aquí tienes un recorrido paso a paso de
instalación de un clúster K3s de 3 nodos
en servidores de metal desnudo (1 maestro + 2 trabajadores).

Comparando distribuciones de self-hosting Kubernetes para alojar en servidores físicos o servidores domésticos, enfocándose en facilidad de instalación, rendimiento, requisitos del sistema y conjuntos de características.

Estoy comparando variantes de Kubernetes autohospedadas que se adaptan a un homelab basado en Ubuntu con 3 nodos (16 GB de RAM, 4 núcleos cada uno), centrándome en la facilidad de instalación y mantenimiento, soporte para volúmenes persistentes y LoadBalancers.

GitHub Actions es una plataforma de automatización y CI/CD dentro de GitHub, utilizada para compilar, probar y desplegar su código basado en eventos como pushes, solicitudes de extracción o en un horario.

Aquí tienes un cheatsheet de Docker Compose con ejemplos anotados para ayudarte a dominar los archivos y comandos de Compose rápidamente.

Aquí tienes un análisis detallado de
Obsidian como una herramienta poderosa para la gestión del conocimiento personal (GKP),
explicando su arquitectura, características, fortalezas y cómo apoya los flujos de trabajo modernos de conocimiento.

Nvidia está a punto de lanzar NVIDIA DGX Spark - pequeño superordenador de IA basado en la arquitectura Blackwell con 128+GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Dispositivo interesante para ejecutar LLMs.

Vamos a echar un vistazo rápido a
Matomo, Plausible, Google y otros proveedores y sistemas de análisis web
disponibles para autohospedaje y compararlos.

Aquí está mi conjunto favorito de pasos al hacer instalación limpia de Ubuntu 24.04. Lo que me gusta aquí es que no necesito instalar los controladores de NVidia ¡se instalan automágicamente!

Dokuwiki es una wikipedia autohospedada que se puede hospedar fácilmente en instalaciones propias y no requiere ninguna base de datos. Estaba ejecutándolo dockerizado, en mi clúster de Kubernetes personal.

Comparemos precios de las mejores tarjetas gráficas de consumo para usuarios finales, que son adecuadas para LLMs en particular y para la inteligencia artificial en general.
Específicamente, echa un vistazo a
precios de RTX 5080 y RTX 5090. Han disminuido ligeramente.

Apache Airflow es una plataforma de código abierto diseñada para autorizar, programar y monitorear flujos de trabajo de forma programática, completamente en código Python, ofreciendo una alternativa flexible y poderosa a las herramientas tradicionales, manuales o basadas en interfaz de usuario para flujos de trabajo.