LLM 프론트엔드

선택할 수 있는 항목은 많지 않지만 여전히...

Page content

LLM을 처음 실험할 때 그들의 UI는 활발한 개발 중이었고, 지금은 그 중 일부가 정말 잘 되어 있습니다.

!- Jan - LLM용 멀티플랫폼 UI(jan-site_w678.jpg Jan - LLM용 프론트엔드 - 설치)

Jan

어두운, 밝은, 투명한 테마가 있습니다.

!- Jan LLM 프론트엔드 - 메인 창(jan-self_w678.jpg Jan - LLM용 프론트엔드 - 왜 자가호스팅인지에 대한 예시 응답)

Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI 등 여러 기존 백엔드에 연결할 수 있으며, 자체적으로 모델을 호스팅할 수도 있습니다 - 아래 스크린샷의 Cortex 섹션을 참조하면, Jan이 로컬에서 Llama3 8b q4와 Phi3 medium(q4)을 다운로드하고 호스팅하고 있음을 알 수 있습니다.

!- Jan LLM 프론트엔드 - 설정 옵션(jan-config_w678.jpg Jan LLM 프론트엔드 - 설정 옵션)

장점 (좋아했던 점):

  • 직관적인 인터페이스
  • 모델 온도, topp, 빈도, 존재 벌금 및 시스템 프롬프트를 실험할 수 있는 능력
  • API 서버 제공

단점:

  • 어떤 이유에서인지 내 ubuntu 기반 OS에서는 느리게 작동했습니다. Windows에서는 잘 작동했습니다.
  • 여러 백엔드에 연결할 수 있지만, 모두 관리되는 백엔드입니다. Ollama 옵션을 사용하는 것이 좋았을 것입니다.
  • Cortex에서 자체 호스팅 가능한 모델의 변형이 많지 않으며, 양자화 옵션도 많지 않습니다.
  • 네, Huggingface gguf는 정말 좋습니다. 하지만 저는
    • ollama가 이미 다운로드하고 VRAM에 로드한 모델을 재사용하고 싶었고
    • 모든 곳에 동일한 모델을 호스팅하지 않기를 원했습니다.

KoboldAI

KoboldAI

매우 주목할 만한 것

Silly Tavern

Silly Tavern

또 하나 매우 다용도로 사용할 수 있는 것

LLM Studio

LLM Studio는 제게 LLM의 UI로는 최선이 아니지만, Huggingface 모델에 대한 접근성이 더 좋습니다.

명령줄 Ollama

네, 그건 또한 사용자 인터페이스입니다, 다만 명령줄 기반의 것이죠.

llama3.1 LLM을 실행하려면 다음과 같이 실행하세요:

ollama run llama3.1

완료되면, ollama 명령줄을 종료하기 위해 다음 명령을 보냅니다:

/bye

cURL Ollama

아직 설치하지 않았다면 cUrl을 설치해야 합니다:

sudo apt-get install curl

ollama에서 호스팅된 로컬 mistral nemo q8 llm을 호출하려면, 프롬프트 p.json이 포함된 로컬 파일을 생성하세요:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

그리고 이제 bash 터미널에서 실행하세요:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

결과는 파일 p-result.json에 저장됩니다.

만약 결과를 바로 출력하고 싶다면:

curl -X POST http://localhost:11434/api/generate -d @p.json

또한:

이것들은 테스트하지 않았지만, LLM UI의 매우 포괄적인 목록입니다:

유용한 링크