Servidor Ollama con prioridad en composición, GPU y persistencia.
Ollama funciona muy bien en hardware físico (bare metal). Se vuelve aún más interesante cuando lo tratas como un servicio: un punto de conexión estable, versiones fijas, almacenamiento persistente y una GPU que está disponible o no lo está.
HTTPS para Ollama sin interrumpir las respuestas en streaming.
Ejecutar Ollama detrás de un proxy inverso es la forma más sencilla de obtener HTTPS, control de acceso opcional y un comportamiento de transmisión predecible.
Incrustaciones RAG: Python, Ollama y las APIs de OpenAI.
Si estás trabajando en generación aumentada con recuperación (RAG), esta sección explica los incrustados de texto (text embeddings) en términos sencillos: qué son, cómo se integran en la búsqueda y la recuperación, y cómo llamar a dos configuraciones locales comunes desde Python usando Ollama o una API HTTP compatible con OpenAI (como la que exponen muchos servidores basados en llama.cpp).
Actualiza los URL en los motores de búsqueda después del despliegue.
Los sitios estáticos y los blogs cambian cada vez que realizas una implementación. Los motores de búsqueda que admiten IndexNow pueden enterarse de esos cambios sin tener que esperar al próximo rastreo ciego.
Sirva modelos abiertos rápidamente con SGLang.
SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.
Instale Kafka 4.2 y transmita eventos en minutos.
Apache Kafka 4.2.0 es la versión actual admitida y es la mejor base para una implementación rápida moderna, ya que Kafka 4.x carece completamente de ZooKeeper y se basa en KRaft de forma predeterminada.
Intercambio en caliente de modelos LLM locales sin modificar los clientes.
Pronto estarás manejando vLLM, llama.cpp y más, cada pila en su propio puerto. Todo lo que hay aguas abajo sigue queriendo una URL base /v1; de lo contrario, seguirás reorganizando puertos, perfiles y scripts de una sola vez. llama-swap es el proxy /v1 antes de esas pilas.
La mayoría de las configuraciones de IA local comienzan con un modelo y un entorno de ejecución.
¿Qué sucede realmente cuando ejecutas Ultrawork?
Oh My Opencode promete un “equipo de desarrollo de IA virtual”: Sisyphus orquestando especialistas, tareas ejecutándose en paralelo y la palabra mágica ultrawork activando todo ello.
Instala Oh My Opencode y lanza tus proyectos más rápido.
Oh My Opencode transforma OpenCode en un andamio de codificación multiagente: un orquestador delega el trabajo a agentes especialistas que se ejecutan en paralelo.
Prueba de LLM OpenCode: estadísticas de codificación y precisión
He probado cómo funciona OpenCode con varios modelos LLM alojados localmente en Ollama, y para comparar, he añadido algunos modelos gratuitos de OpenCode Zen.
Conozca a Sisyphus y su equipo de agentes especializados.
El mayor salto de capacidad en OpenCode proviene de los agentes especializados: la separación deliberada de la orquestación, la planificación, la ejecución y la investigación.
OpenHands CLI: Inicio rápido en minutos
OpenHands es una plataforma de código abierto e agnóstica a modelos para agentes de desarrollo de software impulsados por IA. Permite que un agente se comporte más como un compañero de codificación que como una simple herramienta de autocompletado.
Ejecuta APIs compatibles con OpenAI de forma autohospedada con LocalAI en minutos.
LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).
Monitorea LLM con Prometheus y Grafana
La inferencia de LLM parece “solo otra API” — hasta que aparecen picos de latencia, se forman colas y tus GPUs se quedan en un 95% de memoria sin una explicación obvia.
Instale OpenClaw localmente con Ollama
OpenClaw es un asistente de IA autohospedado diseñado para ejecutarse con entornos locales de LLM como Ollama o con modelos basados en la nube como Claude Sonnet.
