Interfases de LLM

Cuando comencé a experimentar con LLM, las interfaces de usuario para ellos estaban en pleno desarrollo y ahora algunas de ellas son realmente buenas.

Jan

• Jan está disponible para Windows, Linux y Mac.

Tiene temas oscuro, claro y transparente.

Puede conectarse a varios backends existentes como Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI, etc., y alojar modelos por sí mismo; vea la sección Cortex en la captura de pantalla a continuación, que muestra cómo Jan descargó y aloja localmente Llama3 8b q4 y Phi3 medium (q4).

Ventajas (Lo que me gustó):

• Interfaz intuitiva
• Capacidad de experimentar con la temperatura del modelo, topp, penalizaciones de frecuencia y presencia, y prompts de sistema.
• Proporciona un servidor API

Desventajas:

• De alguna manera lento en mi sistema operativo basado en ubuntu. En Windows funcionó bien.
• Puede conectarse a muchos backends, pero todos son gestionados. Sería bueno poder usar la opción de Ollama.
• No hay muchas variantes de modelos disponibles para autoalojar en Cortex. Tampoco hay demasiadas opciones de cuantización.
• Sí, Huggingface gguf es genial. Pero yo quería
  • reutilizar lo que ollama ya descargó y cargó en VRAM
  • no alojar el mismo modelo en todas partes

KoboldAI

KoboldAI

Uno muy destacado

Silly Tavern

Silly Tavern

Otro muy versátil

LLM Studio

LLM Studio no es mi interfaz de usuario favorita para LLMs, pero tiene mejor acceso a los modelos de huggingface.

Ollama por línea de comandos

Sí, eso también es una interfaz de usuario, solo que por línea de comandos.

Necesita ejecutarse para el LLM llama3.1:

ollama run llama3.1

cuando termine, envíe un comando para salir de la línea de comandos de ollama:

/bye

Ollama con cURL

Instale cUrl si aún no lo ha hecho

sudo apt-get install curl

Para llamar al llm local mistral nemo q8 alojado en ollama - cree un archivo local con el prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

y ahora ejecute en la terminal bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

el resultado estará en el archivo p-result.json

si solo desea imprimir el resultado:

curl -X POST http://localhost:11434/api/generate -d @p.json

También:

No probé esos, pero es una lista bastante exhaustiva de interfaces de usuario para LLMs:

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba by Weaviate
• Chat UI Kit for React by ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

Enlaces útiles

• Modelos de Embedding y Reranker de Qwen3 en Ollama: Rendimiento de Última Generación
• Prueba: Cómo Ollama utiliza el Rendimiento de la CPU Intel y los Núcleos Eficientes
• Cómo Ollama Maneja las Solicitudes Paralelas
• Probando Deepseek-r1 en Ollama
• Instalar y configurar Ollama
• Comparando las Capacidades de Resumen de los LLM
• Comparando la velocidad de diferentes LLM
• Autoalojamiento de Perplexica - con Ollama
• Comparación de LLMs: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 y Phi
• Hoja de trucos de Ollama
• Hoja de trucos de Markdown
• Proveedores de LLM en la Nube