Selfhosting

Pronto estarás manejando vLLM, llama.cpp y más, cada stack en su propio puerto. Todo lo que viene aguas abajo aún quiere una URL base /v1; de lo contrario, seguirás moviendo puertos, perfiles y scripts de una sola vez. llama-swap es el proxy /v1 antes de esos stacks.

La mayoría de las configuraciones locales de IA comienzan con un modelo y un entorno de ejecución.

Sigo volviendo a llama.cpp para la inferencia local: te ofrece un control que Ollama y otras herramientas abstraen, y simplemente funciona. Es fácil ejecutar modelos GGUF de forma interactiva con llama-cli o exponer una API HTTP compatible con OpenAI con llama-server.

La mayoría de las configuraciones de IA local comienzan de la misma manera: un modelo, un entorno de ejecución y una interfaz de chat.

Elegir el CMS sin cabeza adecuado puede marcar la diferencia en tu estrategia de gestión de contenido. Vamos a comparar tres soluciones de código abierto que influyen en cómo los desarrolladores construyen aplicaciones impulsadas por contenido.

Nextcloud es la plataforma de almacenamiento en la nube y colaboración de código abierto y autoalojada líder que te pone en completo control de tus datos.

Aquí se listará algunas herramientas de codificación asistida por IA y Asistentes de Codificación con IA y sus ventajas.

Aquí tienes una hoja de referencia de Docker que cubre los comandos más importantes y conceptos, desde la instalación hasta la ejecución de contenedores y la limpieza:

Cuando comencé a experimentar con LLM, las interfaces de usuario para ellos estaban en pleno desarrollo y ahora algunas de ellas son realmente buenas.