Un par de formas de obtener una salida estructurada de Ollama
Modelos de Lenguaje a Gran Escala (LLM) son poderosos, pero en producción rara vez deseamos párrafos de formato libre. En cambio, queremos datos predecibles: atributos, hechos u objetos estructurados que puedes proporcionar a una aplicación. Eso es la Salida estructurada de LLM.
Mi propia prueba de programación del modelo ollama
Aquí estoy comparando cómo mucho VRAM la nueva versión de Ollama asigna al modelo con la versión anterior de Ollama. La nueva versión es peor.
¿Estás pensando en instalar una segunda GPU para LLMs?
¿Cómo afectan las pistas PCIe al rendimiento de los LLM?? Depende de la tarea. En el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.
Ollama en CPU de Intel: núcleos eficientes vs. de rendimiento
Tengo una teoría que quiero probar: ¿utilizar todos los núcleos en un procesador Intel aumentaría la velocidad de los LLMs? Me molesta que el nuevo modelo gemma3 de 27 bits (gemma3:27b, 17 GB en ollama) no entre en los 16 GB de VRAM de mi GPU, y se ejecute parcialmente en el CPU.
La IA requiere mucha energía...
En medio del caos del mundo moderno, aquí estoy comparando las especificaciones técnicas de diferentes tarjetas adecuadas para tareas de IA (Aprendizaje Profundo, Detección de Objetos y Modelos de Lenguaje Grande). Sin embargo, todas son increíblemente caras.
Comprender la concurrencia y la gestión de colas de Ollama, y cómo ajustar OLLAMA_NUM_PARALLEL para solicitudes paralelas estables.
Esta guía explica cómo Ollama maneja las solicitudes paralelas (concurrencia, colas y límites de recursos) y cómo ajustar su funcionamiento mediante la variable de entorno OLLAMA_NUM_PARALLEL (y configuraciones relacionadas).
Siguiente ronda de pruebas de LLM
No hace mucho tiempo se lanzó. Vamos a ponernos al día y pruebe cómo se comporta Mistral Small en comparación con otros LLMs.
Prueba de detección de falacias lógicas
Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.
8 versiones de llama3 (Meta+) y 5 versiones de phi3 (Microsoft)
Prueba de cómo se comportan los modelos con diferentes números de parámetros y cuantización.
Probemos la velocidad de los LLM en GPU frente a CPU
Comparando la velocidad de predicción de varias versiones de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) en CPU y GPU.
