La IA requiere mucha energía...
En medio del caos del mundo moderno, aquí estoy comparando las especificaciones técnicas de diferentes tarjetas adecuadas para tareas de IA (Aprendizaje Profundo, Detección de Objetos y Modelos de Lenguaje Grande). Sin embargo, todas son increíblemente caras.
Comprende la concurrencia y la cola de Ollama, y aprende a ajustar OLLAMA_NUM_PARALLEL para solicitudes paralelas estables.
Esta guía explica cómo Ollama maneja las solicitudes paralelas (concurrencia, colas y límites de recursos), y cómo ajustarlo utilizando la variable de entorno OLLAMA_NUM_PARALLEL (y otros parámetros relacionados).
Siguiente ronda de pruebas de LLM
No hace mucho tiempo se lanzó. Vamos a ponernos al día y pruebe cómo se comporta Mistral Small en comparación con otros LLMs.
Prueba de detección de falacias lógicas
Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.
8 versiones de llama3 (Meta+) y 5 versiones de phi3 (Microsoft)
Prueba de cómo se comportan los modelos con diferentes números de parámetros y cuantización.
Probemos la velocidad de los LLM en GPU frente a CPU
Comparando la velocidad de predicción de varias versiones de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) en CPU y GPU.
