Ollama en CPU de Intel: núcleos eficientes vs. de rendimiento
Tengo una teoría que quiero probar: ¿utilizar todos los núcleos en un procesador Intel aumentaría la velocidad de los LLMs? Me molesta que el nuevo modelo gemma3 de 27 bits (gemma3:27b, 17 GB en ollama) no entre en los 16 GB de VRAM de mi GPU, y se ejecute parcialmente en el CPU.
Configurando ollama para la ejecución de solicitudes en paralelo.
Cuando el servidor Ollama recibe dos solicitudes al mismo tiempo, su comportamiento depende de su configuración y de los recursos del sistema disponibles.
Comparando dos modelos deepseek-r1 con dos modelos base
DeepSeek’s primer generación de modelos de razonamiento con un rendimiento comparable al de OpenAI-o1, incluyendo seis modelos densos destilados de DeepSeek-R1 basados en Llama y Qwen.
Lista actualizada de comandos de Ollama - ls, ps, run, serve, etc
Este cheatsheet de CLI de Ollama se centra en los comandos que usas cada día (ollama ls, ollama serve, ollama run, ollama ps, gestión de modelos y flujos de trabajo comunes), con ejemplos que puedes copiar y pegar.
Siguiente ronda de pruebas de LLM
No hace mucho tiempo se lanzó. Vamos a ponernos al día y pruebe cómo se comporta Mistral Small en comparación con otros LLMs.
Un código en Python para el reordenamiento de RAG
Comparando dos motores de búsqueda de IA autohospedados
La comida deliciosa también es un placer para los ojos.
Pero en este post compararemos dos sistemas de búsqueda basados en IA, Farfalle y Perplexica.
¿Ejecutando un servicio estilo copilot localmente? ¡Fácil!
¡Eso es muy emocionante!
En lugar de llamar a Copilot o Perplexity.ai y contarle al mundo lo que buscas, ahora puedes alojar un servicio similar en tu propio PC o laptop.
No hay tantas opciones, pero aún así...
Cuando empecé a experimentar con LLMs, las interfaces de usuario para ellos estaban en desarrollo activo y ahora algunas de ellas son realmente buenas.
Prueba de detección de falacias lógicas
Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.
Requiere algún experimento pero
Aún así, existen algunos enfoques comunes para escribir buenos prompts de manera que los modelos de lenguaje no se confundan al intentar entender lo que deseas.
8 versiones de llama3 (Meta+) y 5 versiones de phi3 (Microsoft)
Prueba de cómo se comportan los modelos con diferentes números de parámetros y cuantización.
Los archivos del modelo LLM de Ollama ocupan mucho espacio.
Después de instalar ollama es mejor reconfigurar ollama para que los almacene en un nuevo lugar de inmediato. Así, después de que descarguemos un nuevo modelo, no se descargará en la ubicación antigua.
