Comprender la concurrencia y la gestión de colas de Ollama, y cómo ajustar OLLAMA_NUM_PARALLEL para solicitudes paralelas estables.
Esta guía explica cómo Ollama maneja las solicitudes paralelas (concurrencia, colas y límites de recursos) y cómo ajustar su funcionamiento mediante la variable de entorno OLLAMA_NUM_PARALLEL (y configuraciones relacionadas).
Codificación asistida por IA donde describes, no escribes.
Programación con “vibe” es un enfoque de programación impulsado por IA donde los desarrolladores describen la funcionalidad deseada en lenguaje natural y dejan que las herramientas de IA generen el código automáticamente, con una escritura directa mínima.
Comparando dos modelos deepseek-r1 con dos modelos base
DeepSeek’s primer generación de modelos de razonamiento con un rendimiento comparable al de OpenAI-o1, incluyendo seis modelos densos destilados de DeepSeek-R1 basados en Llama y Qwen.
Lista de comandos actualizada de Ollama - ls, ps, run, serve, etc.
Esta hoja de referencia de la CLI de Ollama se centra en los comandos que utilizas a diario (ollama ls, ollama serve, ollama run, ollama ps, gestión de modelos y flujos de trabajo comunes), con ejemplos que puedes copiar y pegar.
Siguiente ronda de pruebas de LLM
No hace mucho tiempo se lanzó. Vamos a ponernos al día y pruebe cómo se comporta Mistral Small en comparación con otros LLMs.
Un código Python para el reordenamiento en RAG
Novedoso modelo de IA para generar imágenes a partir de texto
Recientemente, Black Forest Labs publicó un conjunto de modelos de IA de texto a imagen. Estos modelos se dicen que tienen una calidad de salida mucho mayor. Probémoslos
Comparando dos motores de búsqueda de IA autoalojados
La comida increíble también es un placer para la vista. Pero en esta entrada compararemos dos sistemas de búsqueda basados en IA, Farfalle y Perplexica.
¿Ejecutando un servicio de estilo Copilot de forma local? ¡Fácil!
¡Eso es muy emocionante! En lugar de llamar a Copilot o Perplexity.ai y contarle al mundo entero lo que buscas, ¡ahora puedes alojar un servicio similar en tu propio PC o portátil!
Prueba de detección de falacias lógicas
Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.
No hay tantas opciones para elegir, pero aun así....
Cuando comencé a experimentar con LLM, las interfaces de usuario para ellos estaban en pleno desarrollo y ahora algunas de ellas son realmente buenas.
Requiere algún experimento pero
Aún así, existen algunos enfoques comunes para escribir buenos prompts de manera que los modelos de lenguaje no se confundan al intentar entender lo que deseas.
8 versiones de llama3 (Meta+) y 5 versiones de phi3 (Microsoft)
Prueba de cómo se comportan los modelos con diferentes números de parámetros y cuantización.
Los archivos de modelos LLM de Ollama ocupan mucho espacio.
Después de instalar ollama, es mejor reconfigurar ollama para guardarlos en la nueva ubicación de inmediato. Así, cuando descarguemos un nuevo modelo, no se descargará en la ubicación anterior.
Probemos la velocidad de los LLM en GPU frente a CPU
Comparando la velocidad de predicción de varias versiones de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) en CPU y GPU.
Probemos la calidad de detección de falacias lógicas de diferentes LLMs
Aquí estoy comparando varias versiones de LLM: Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo (Mistral AI) y Qwen (Alibaba).
