Ollama에서 제공하는 Qwen3 임베딩 및 리랭커 모델: 최첨단 성능

Ollama에 새로운 훌륭한 LLM이 출시되었습니다.

Page content

Qwen3 Embedding 및 Reranker 모델은 Qwen 가족의 최신 출시물로, 고급 텍스트 임베딩, 검색 및 재정렬 작업에 특화되어 있습니다.

눈에 즐거움 Qwen3 Embedding Reranker 컨텍스트 길이 및 임베딩 차원

Qwen3 Embedding 및 Reranker 모델은 다국어 자연어 처리(NLP) 분야에서 중요한 발전을 이루며, 텍스트 임베딩 및 재정렬 작업에서 최첨단 성능을 제공합니다. 알리바바에서 개발한 Qwen 시리즈의 일부인 이 모델은 의미 검색부터 코드 검색에 이르는 다양한 응용 프로그램을 지원하도록 설계되었습니다. Ollama는 대규모 언어 모델(LLM)을 호스팅하고 배포하기 위한 인기 있는 오픈소스 플랫폼이지만, 공식 문서에서는 Qwen3 모델을 Ollama와 통합하는 방법에 대한 구체적인 설명이 제공되지 않았습니다. 그러나 Hugging Face, GitHub 및 ModelScope를 통해 이 모델에 접근할 수 있으며, Ollama 또는 유사한 도구를 통해 로컬에 배포할 수 있습니다.

이 모델을 사용하는 예시

이 모델을 사용한 Go 언어의 샘플 코드를 확인해 보세요:

Ollama에서 새 Qwen3 Embedding 및 Reranker 모델 개요

이 모델은 다양한 크기로 Ollama에서 배포할 수 있으며, 다양한 언어 및 코드 관련 응용 프로그램에 있어 최첨단 성능과 유연성을 제공합니다.

주요 기능 및 기능

  • 모델 크기 및 유연성

    • 임베딩 및 재정렬 작업에 대해 여러 크기 제공: 0.6B, 4B, 8B 매개변수.
    • 8B 임베딩 모델은 현재 MTEB 다국어 리더보드에서 1위를 차지하고 있습니다(2025년 6월 5일 기준, 점수 70.58).
    • 성능, 메모리 사용량 및 속도를 균형 있게 조절하기 위해 다양한 양자화 옵션(Q4, Q5, Q8 등)을 지원합니다. 대부분의 사용자에게 Q5_K_M이 추천되며, 모델 성능을 유지하면서도 자원 효율성이 높습니다.

  • 구조 및 훈련

    • Qwen3 기반으로 구축되어, 임베딩을 위한 이중 인코더 및 재정렬을 위한 교차 인코더 구조를 모두 활용합니다.
    • 임베딩 모델: 단일 텍스트 세그먼트를 처리하여 최종 숨은 상태에서 의미 표현을 추출합니다.
    • 재정렬 모델: 텍스트 쌍(예: 쿼리 및 문서)을 입력으로 받아 교차 인코더 접근 방식을 사용하여 관련성 점수를 출력합니다.
    • 임베딩 모델은 대비 사전 훈련, 고질량 데이터를 사용한 감독 훈련, 모델 병합을 통한 최적의 일반화 및 적응성을 위한 3단계 훈련 패러다임을 사용합니다.
    • 재정렬 모델은 효율성과 효과성을 위해 고질량 라벨 데이터로 직접 훈련됩니다.

  • 다국어 및 다태스크 지원

    • 프로그래밍 언어를 포함한 100개 이상의 언어를 지원하여, 강력한 다국어, 교차 언어 및 코드 검색 기능을 제공합니다.
    • 임베딩 모델은 유연한 벡터 정의 및 사용자 정의 지시를 통해 특정 작업 또는 언어에 맞춘 성능을 조정할 수 있습니다.

  • 성능 및 사용 사례

    • 텍스트 검색, 코드 검색, 분류, 클러스터링, 비트 텍스트 채굴에서 최첨단 결과를 제공합니다.
    • 재정렬 모델은 다양한 텍스트 검색 시나리오에서 우수한 성능을 보이며, 임베딩 모델과 결합하여 엔드 투 엔드 검색 파이프라인을 구성할 수 있습니다.

Ollama에서 사용 방법

다음 명령어로 Ollama에서 이 모델을 실행할 수 있습니다:

ollama run dengcao/Qwen3-Embedding-8B:Q5_K_M
ollama run dengcao/Qwen3-Reranker-0.6B:F16

하드웨어 및 성능 요구 사항에 가장 적합한 양자화 버전을 선택하세요.

요약 표

모델 유형 제공 크기 주요 강점 다국어 지원 양자화 옵션
임베딩 0.6B, 4B, 8B 최고의 MTEB 점수, 유연성, 효율성, 최첨단 성능 예 (100+ 언어) Q4, Q5, Q6, Q8 등
재정렬 0.6B, 4B, 8B 텍스트 쌍 관련성에서 우수, 효율성, 유연성 예 F16, Q4, Q5 등

훌륭한 소식!

Ollama에서 제공하는 Qwen3 임베딩 및 재정렬 모델은 다국어, 다태스크 텍스트 및 코드 검색 능력에서 중요한 발전을 이루었습니다. 유연한 배포 옵션, 강력한 벤치마크 성능, 다양한 언어 및 작업에 대한 지원으로 인해 연구 및 생산 환경 모두에 적합합니다.

모델 동물원 - 이제 눈에 즐거움

Qwen3 임베딩

https://ollama.com/dengcao/Qwen3-Embedding-8B

Qwen3 임베딩 8b

https://ollama.com/dengcao/Qwen3-Embedding-4B/tags

Qwen3 임베딩 4b

https://ollama.com/dengcao/Qwen3-Embedding-0.6B/tags

Qwen3 임베딩 0.6b

Qwen3 재정렬

https://ollama.com/dengcao/Qwen3-Reranker-8B

Qwen3 재정렬 8b

dengcao/Qwen3-Reranker-8B:Q3_K_M
dengcao/Qwen3-Reranker-8B:Q5_K_M

https://ollama.com/dengcao/Qwen3-Reranker-4B/tags

dengcao/Qwen3-Reranker-4B:Q5_K_M

Qwen3-Reranker-4B

https://ollama.com/dengcao/Qwen3-Reranker-0.6B/tags

Qwen3-Reranker-0.6B

좋아요!

유용한 링크