LLM 프론트엔드

LLM 실험을 처음 시작했을 당시, 관련 UI는 활발하게 개발 중이었으며 현재는 그 중 일부가 매우 우수합니다.

Jan

• Jan은 Windows, Linux, Mac에서 사용할 수 있습니다.

다크, 라이트, 투명 테마를 지원합니다.

Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI 등 기존 백엔드 여러 개에 연결할 수 있으며, 자체적으로 모델을 호스팅할 수도 있습니다 - 아래 스크린샷의 Cortex 섹션을 참고하세요. Jan이 Llama3 8b q4와 Phi3 medium (q4)를 다운로드하여 로컬에서 호스팅하는 모습입니다.

장점 (호감스러웠던 점):

• 직관적인 인터페이스
• 모델의 temperature, topp, frequency penalty, presence penalty 및 시스템 프롬프트를 실험할 수 있는 기능
• API 서버 제공

단점:

• Ubuntu 기반 OS에서 어떻게 느리네요. Windows에서는 정상적으로 실행되었습니다.
• 여러 백엔드에 연결할 수 있지만, 모두 관리형입니다. Ollama 옵션을 사용할 수 있으면 좋겠습니다.
• Cortex에서 셀프호스팅을 위해 사용할 수 있는 모델 변형이 많지 않습니다. 양자화 옵션도 많지 않습니다.
• 네, Huggingface의 gguf는 훌륭합니다. 하지만 저는
  • ollama이 이미 다운로드하여 VRAM에 로드한 것을 재사용하고 싶었습니다
  • 동일한 모델을 모든 곳에 호스팅하는 것을 원하지 않았습니다

KoboldAI

KoboldAI

매우 유명한 것입니다

Silly Tavern

Silly Tavern

또 다른 매우 다재다능한 도구입니다

LLM Studio

LLM Studio는 제가 가장 좋아하는 LLM UI는 아니지만, huggingface 모델에 대한 접근성이 더 좋습니다.

커맨드라인 Ollama

네, 그것도 사용자 인터페이스입니다. 다만 커맨드라인 기반입니다.

llama3.1 LLM을 실행하려면:

ollama run llama3.1

완료 후, ollama 커맨드라인에서 종료하려면 다음 명령을 보내세요:

/bye

cURL Ollama

아직 설치하지 않았다면 cUrl을 설치하세요

sudo apt-get install curl

ollama에 호스팅된 로컬 mistral nemo q8 llm을 호출하려면 프롬프트가 담긴 로컬 파일 p.json을 생성하세요:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

그리고 이제 bash 터미널에서 실행합니다

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

결과는 p-result.json 파일에 저장됩니다

결과만 출력하려면:

curl -X POST http://localhost:11434/api/generate -d @p.json

기타:

아래는 테스트하지는 않았지만, LLM UI에 대한 꽤 포괄적인 목록입니다:

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba by Weaviate
• Chat UI Kit for React by ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

유용한 링크

• Ollama의 Qwen3 Embedding & Reranker 모델: 최첨단 성능
• 테스트: Ollama가 Intel CPU 성능 코어와 효율 코어를 어떻게 활용하는가
• Ollama가 동시 요청을 처리하는 방법
• Ollama에서 Deepseek-r1 테스트
• Ollama 설치 및 구성
• LLM 요약 능력 비교
• 서로 다른 LLM 속도 비교
• Ollama와 함께 Perplexica 셀프호스팅
• LLM 비교: Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3, Phi
• Ollama 치트시트
• Markdown 치트시트
• 클라우드 LLM 프로바이더