Self-Hosting

Aquí está mi conjunto favorito de pasos al hacer instalación limpia de Ubuntu 24.04. Lo que me gusta aquí es que no necesito instalar los controladores de NVidia ¡se instalan automágicamente!

Dokuwiki es una wikipedia autohospedada que se puede hospedar fácilmente en instalaciones propias y no requiere ninguna base de datos. Estaba ejecutándolo dockerizado, en mi clúster de Kubernetes personal.

Comparemos precios de las mejores tarjetas gráficas de consumo de primer nivel, que son adecuadas para LLMs en particular y para la IA en general.
Específicamente, echa un vistazo a
precios de RTX 5080 y RTX 5090. Han disminuido ligeramente.

Apache Airflow es una plataforma de código abierto diseñada para autorizar, programar y monitorear flujos de trabajo de forma programática, completamente en código Python, ofreciendo una alternativa flexible y poderosa a las herramientas tradicionales, manuales o basadas en interfaz de usuario para flujos de trabajo.

Dado que el Ollama estándar no tiene una API de rerank directa, tendrás que implementar reranking usando Qwen3 Reranker en GO generando embeddings para pares de consulta y documentos y calificándolos.

En este test estoy comparando cómo diferentes LLMs alojados en Ollama traducen una página Hugo del inglés al alemán. Tres páginas que probé estaban sobre temas diferentes, tenían algún buen markdown con cierta estructura: encabezados, listas, tablas, enlaces, etc.

Este pequeño Ejemplo de código Go para reranking llama a Ollama para generar embeddings para la consulta y para cada documento candidato, luego ordenando de forma descendente por similitud coseno.

Hace solo 3 meses no veíamos la RTX 5090 en tiendas, y ahora aquí están, pero los precios son ligeramente más altos que el MRSP. Comparemos los precios más baratos para RTX 5080 y RTX 5090 en Australia y veamos cómo va.

YaCy es un motor de búsqueda descentralizado, peer-to-peer (P2P) diseñado para operar sin servidores centralizados, permitiendo a los usuarios crear índices locales o globales y realizar búsquedas consultando a pares distribuidos.

Sistema automatizado de alto rendimiento para algún trabajo increíble.

Los modelos de incrustación y reordenamiento de Qwen3 son las últimas versiones lanzadas en la familia Qwen, especialmente diseñados para tareas avanzadas de incrustación de texto, recuperación y reordenamiento.

Durante bastante tiempo he estado molesto con esta molestia de poner imágenes de miniatura de las páginas en el directorio estático. Eso es para Mainroad, Rodster y temas similares de Hugo.

Cómo afectan los canales PCIe al rendimiento de los LLM? Dependiendo de la tarea. Para el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.

El siguiente paso es implementar algunos CI/CD y configurar Gitea Actions para el sitio web de Hugo, para empujar el sitio web a AWS S3 automáticamente cuando se actualice la rama master.

En la biblioteca de modelos de Ollama hay modelos que pueden convertir contenido HTML a Markdown, lo cual es útil para tareas de conversión de contenido.