Cheatsheet

Modo router de llama.cpp es uno de los cambios más útiles en llama-server en años. Finalmente ofrece a los operadores de LLM locales una experiencia de gestión de modelos cercana a la que las personas esperan de Ollama, manteniendo al mismo tiempo el rendimiento bruto y el control a bajo nivel que hacen que llama.cpp valga la pena usarlo en primer lugar.

Esta página es una referencia práctica para la afinación de inferencia de LLMs agentivos (temperatura, top_p, top_k, penalizaciones y cómo interactúan en flujos de trabajo multietapa y con uso intensivo de herramientas).

Hermes Agent de Nous Research es un asistente agnóstico al modelo y con capacidad de usar herramientas que puedes ejecutar localmente o en un VPS.

La mayoría de las pilas de agentes de IA siguen tratando la seguridad como una corrección posterior a la demostración. NemoClaw parte de la suposición opuesta y establece el aislamiento, la política y el enrutamiento como valores predeterminados desde el primer día.

Durante mucho tiempo, llama.cpp tuvo una limitación evidente: solo se podía servir un modelo por proceso, y cambiar de modelo implicaba un reinicio.

Los archivos por lotes y los scripts de shell a menudo necesitan una breve espera para que una ventana con doble clic o un registro de instalación permanezca visible. Windows CMD tiene un comando dedicado pause. Las shells de Unix utilizan read.

SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.

Pronto estarás manejando vLLM, llama.cpp y más, cada stack en su propio puerto. Todo lo que viene aguas abajo aún quiere una URL base /v1; de lo contrario, seguirás moviendo puertos, perfiles y scripts de una sola vez. llama-swap es el proxy /v1 antes de esos stacks.

OpenHands es una plataforma de código abierto e agnóstica a modelos para agentes de desarrollo de software impulsados por IA. Permite que un agente se comporte más como un compañero de codificación que como una simple herramienta de autocompletado.

LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).

Sigo volviendo a llama.cpp para la inferencia local: te ofrece un control que Ollama y otras herramientas abstraen, y simplemente funciona. Es fácil ejecutar modelos GGUF de forma interactiva con llama-cli o exponer una API HTTP compatible con OpenAI con llama-server.

OpenCode es un agente de código con IA de código abierto que puedes ejecutar en la terminal (TUI + CLI) con interfaces de escritorio e IDE opcionales. Este es el Inicio Rápido de OpenCode: instalación, verificación, conexión de un modelo/proveedor y ejecución de flujos de trabajo reales (CLI + API).

Elegir la pila correcta de automatización del navegador y web scraping en Go afecta la velocidad, el mantenimiento y donde se ejecuta tu código.

Launchers de escritorio en Ubuntu 24 (y en la mayoría de los escritorios Linux) están definidos por archivos .desktop: pequeños archivos de configuración basados en texto que describen una aplicación o enlace.

Elegir el stack correcto para la automatización del navegador en Python afecta la velocidad, la estabilidad y el mantenimiento. Este resumen compara Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge - con enfoque en Python, mientras se señala donde encajan Node.js u otros lenguajes.

Dos opciones fuertes para construir interfaces de usuario para terminal hoy en día son BubbleTea (Go) y Ratatui (Rust). Una le da un marco opinionado estilo Elm; la otra una biblioteca flexible en modo inmediato.