Referencia de ajuste de LLMs agénticos
Esta página es una referencia práctica para la afinación de inferencia de LLMs agentivos (temperatura, top_p, top_k, penalizaciones y cómo interactúan en flujos de trabajo multietapa y con uso intensivo de herramientas).
Habla con Hermes desde tu teléfono
Ya puedes chatear con Hermes Agent desde tu teléfono usando texto. Ahora quieres hablar con él directamente y recibir respuestas habladas. Eso suele ser la mejor opción, especialmente si ya usas Hermes como asistente autohospedado persistente. Escribir instrucciones largas en una pantalla pequeña es lento y propenso a errores.
Ejecuta OpenClaw de forma segura con NemoClaw
La mayoría de las pilas de agentes de IA siguen tratando la seguridad como una corrección posterior a la demostración. NemoClaw parte de la suposición opuesta y establece el aislamiento, la política y el enrutamiento como valores predeterminados desde el primer día.
Comparación de herramientas, métodos y wikis autoalojados de PKM.
La gestión del conocimiento personal abarca Obsidian, Logseq, DokuWiki, Zettelkasten y PARA: la elección correcta depende de si deseas un grafo de notas local, un wiki autoalojado o un flujo de trabajo impulsado por un outliner.
Las suscripciones a Claude ya no impulsan agentes
La puerta trasera silenciosa que impulsó una ola de experimentación con agentes ahora está cerrada.
Búsqueda de IA autoalojada con LLM locales
Vane es una de las entradas más pragmáticas en el espacio de “búsqueda de IA con citas”: un motor de respuestas autoalojado que combina la recuperación web en vivo con LLM locales o en la nube, manteniendo toda la pila bajo tu control.
Instala TGI, despliega rápido, depura más rápido.
Text Generation Inference (TGI) tiene una energía muy específica. No es el último en llegar en la calle de la inferencia, pero es el que ya aprendió cómo se rompen las cosas en producción -
Velocidad de tokens de llama.cpp con 16 GB de VRAM (tablas).
Aquí comparo la velocidad de varios LLMs ejecutándose en una GPU con 16 GB de VRAM y selecciono el mejor para autoalojamiento.
La RTX 5090 en Australia es escasa y sobrevalorada.
Australia tiene existencias de la RTX 5090. Escasamente. Y si encuentras una, pagarás un sobreprecio que parece desconectado de la realidad.
Acceso remoto a Ollama sin puertos públicos
Ollama funciona mejor cuando se trata como un demonio local: la CLI y sus aplicaciones se comunican con una API HTTP de bucle local, y el resto de la red nunca descubre su existencia.
Servidor Ollama con prioridad en composición, GPU y persistencia.
Ollama funciona muy bien en hardware físico (bare metal). Se vuelve aún más interesante cuando lo tratas como un servicio: un punto de conexión estable, versiones fijas, almacenamiento persistente y una GPU que está disponible o no lo está.
HTTPS con Ollama sin interrumpir las respuestas en streaming.
Ejecutar Ollama detrás de un proxy inverso es la forma más sencilla de obtener HTTPS, control de acceso opcional y un comportamiento de transmisión predecible.
Incrustaciones RAG: Python, Ollama y las APIs de OpenAI.
Si estás trabajando en generación aumentada con recuperación (RAG), esta sección explica los incrustados de texto (text embeddings) en términos sencillos: qué son, cómo se integran en la búsqueda y la recuperación, y cómo llamar a dos configuraciones locales comunes desde Python usando Ollama o una API HTTP compatible con OpenAI (como la que exponen muchos servidores basados en llama.cpp).
Actualiza los URL en los motores de búsqueda después del despliegue.
Los sitios estáticos y los blogs cambian cada vez que realizas una implementación. Los motores de búsqueda que admiten IndexNow pueden enterarse de esos cambios sin tener que esperar al próximo rastreo ciego.
Sirva modelos abiertos rápidamente con SGLang.
SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.
Instale Kafka 4.2 y transmita eventos en minutos.
Apache Kafka 4.2.0 es la versión actual admitida y es la mejor base para una implementación rápida moderna, ya que Kafka 4.x carece completamente de ZooKeeper y se basa en KRaft de forma predeterminada.
