LLM 프론트엔드

LLM을 처음 실험할 때 그들의 UI는 활발한 개발 중이었고, 지금은 그 중 일부가 정말 잘 되어 있습니다.

!- Jan - LLM용 멀티플랫폼 UI(jan-site_w678.jpg Jan - LLM용 프론트엔드 - 설치)

Jan

• Jan(https://jan.ai/)는 Windows, Linux 및 Mac에서 사용할 수 있습니다.

어두운, 밝은, 투명한 테마가 있습니다.

!- Jan LLM 프론트엔드 - 메인 창(jan-self_w678.jpg Jan - LLM용 프론트엔드 - 왜 자가호스팅인지에 대한 예시 응답)

Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI 등 여러 기존 백엔드에 연결할 수 있으며, 자체적으로 모델을 호스팅할 수도 있습니다 - 아래 스크린샷의 Cortex 섹션을 참조하면, Jan이 로컬에서 Llama3 8b q4와 Phi3 medium(q4)을 다운로드하고 호스팅하고 있음을 알 수 있습니다.

!- Jan LLM 프론트엔드 - 설정 옵션(jan-config_w678.jpg Jan LLM 프론트엔드 - 설정 옵션)

장점 (좋아했던 점):

• 직관적인 인터페이스
• 모델 온도, topp, 빈도, 존재 벌금 및 시스템 프롬프트를 실험할 수 있는 능력
• API 서버 제공

단점:

• 어떤 이유에서인지 내 ubuntu 기반 OS에서는 느리게 작동했습니다. Windows에서는 잘 작동했습니다.
• 여러 백엔드에 연결할 수 있지만, 모두 관리되는 백엔드입니다. Ollama 옵션을 사용하는 것이 좋았을 것입니다.
• Cortex에서 자체 호스팅 가능한 모델의 변형이 많지 않으며, 양자화 옵션도 많지 않습니다.
• 네, Huggingface gguf는 정말 좋습니다. 하지만 저는
  • ollama가 이미 다운로드하고 VRAM에 로드한 모델을 재사용하고 싶었고
  • 모든 곳에 동일한 모델을 호스팅하지 않기를 원했습니다.

KoboldAI

KoboldAI

매우 주목할 만한 것

Silly Tavern

Silly Tavern

또 하나 매우 다용도로 사용할 수 있는 것

LLM Studio

LLM Studio는 제게 LLM의 UI로는 최선이 아니지만, Huggingface 모델에 대한 접근성이 더 좋습니다.

명령줄 Ollama

네, 그건 또한 사용자 인터페이스입니다, 다만 명령줄 기반의 것이죠.

llama3.1 LLM을 실행하려면 다음과 같이 실행하세요:

ollama run llama3.1

완료되면, ollama 명령줄을 종료하기 위해 다음 명령을 보냅니다:

/bye

cURL Ollama

아직 설치하지 않았다면 cUrl을 설치해야 합니다:

sudo apt-get install curl

ollama에서 호스팅된 로컬 mistral nemo q8 llm을 호출하려면, 프롬프트 p.json이 포함된 로컬 파일을 생성하세요:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

그리고 이제 bash 터미널에서 실행하세요:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

결과는 파일 p-result.json에 저장됩니다.

만약 결과를 바로 출력하고 싶다면:

curl -X POST http://localhost:11434/api/generate -d @p.json

또한:

이것들은 테스트하지 않았지만, LLM UI의 매우 포괄적인 목록입니다:

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba by Weaviate
• React용 Chat UI Kit by ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

유용한 링크

• Ollama에서 Qwen3 임베딩 및 리랭커 모델: 최첨단 성능
• Ollama가 인텔 CPU 성능과 효율적인 코어를 어떻게 사용하는지 테스트
• Ollama가 병렬 요청을 어떻게 처리하는지
• Ollama에서 Deepseek-r1 테스트
• Ollama 설치 및 구성
• LLM 요약 능력 비교
• 다른 LLM의 속도 비교
• Ollama와 함께 Perplexica 자체 호스팅
• LLM 비교: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 및 Phi
• Ollama 간편 가이드
• Markdown 간편 가이드
• 클라우드 LLM 제공업체