Ollama 와 Qwen3 임베딩 LLM 을 활용한 텍스트 재랭킹 - Go 로 구현
RAG 구현 중이신가요? Golang 코드 스니펫을 소개합니다.
이 작은 Go 코드 예시는 쿼리와 각 후보 문서에 대해 임베딩을 생성하기 위해 Ollama 를 호출합니다 그리고 코사인 유사도 기준으로 내림차순으로 정렬합니다.
RAG
Ollama 에서 지원하는 Qwen3 임베딩 및 리랭커 모델: 최첨단 성능
Ollama 에서 제공되는 새로운 놀라운 LLM 들
Qwen3 임베딩 및 리랭커 모델 은 Qwen 시리즈의 최신 릴리스로, 고급 텍스트 임베딩, 검색 및 재랭킹 작업을 위해 특별히 설계되었습니다.
Go용 Beautiful Soup 대안
HTML에서 데이터를 추출하는 주제를 이어가며
- Go에서 Beautiful Soup과 직접적으로 대응하는 라이브러리를 사용하려면 soup을 사용하세요.
- CSS 선택자 지원이 필요하다면 goquery를 고려하세요.
- XPath 쿼리를 사용하려면 htmlquery를 사용하세요.
- 또 다른 Beautiful Soup 영감을 받은 옵션을 원한다면 Node를 참고하세요.
Go에서 Beautiful Soup 대응 라이브러리를 찾고 있다면, 여러 라이브러리가 유사한 HTML 파싱 및 스크래핑 기능을 제공합니다:
LLM과 Ollama를 사용하여 HTML 콘텐츠를 Markdown으로 변환하세요.
LLM을 사용하여 HTML에서 텍스트 추출...
Ollama 모델 라이브러리에는 HTML 콘텐츠를 Markdown으로 변환할 수 있는 모델이 포함되어 있습니다. 이는 콘텐츠 변환 작업에 유용합니다. 이 가이드는 우리의 2026년 문서화 도구: Markdown, LaTeX, PDF 및 인쇄 워크플로우 허브의 일부입니다.
클라우드 LLM 제공업체
LLM 제공업체 짧은 목록
LLM을 사용하는 것은 매우 비용이 많이 들지 않으며, 새로운 고성능 GPU를 구매할 필요가 있을 수도 있습니다.
클라우드에서 제공하는 LLM 제공업체 목록을 확인해보세요. 이 목록에는 제공업체가 호스팅하는 LLM이 나와 있습니다.
올라마가 병렬 요청을 처리하는 방법
Ollama의 동시성 및 큐잉 메커니즘을 이해하고, 안정적인 병렬 요청 처리를 위해 OLLAMA_NUM_PARALLEL을 튜닝하는 방법을 알아봅니다.
이 가이드에서는 Ollama가 병렬 요청을 처리하는 방식(동시성, 큐잉 및 자원 제한)과 OLLAMA_NUM_PARALLEL 환경 변수(및 관련 설정)를 사용하여 이를 최적화하는 방법을 설명합니다.
Ollama에서 Deepseek-R1 테스트
두 개의 deepseek-r1 모델을 두 개의 기본 모델과 비교합니다.
DeepSeek’s 첫 세대 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 추출한 6개의 밀집 모델입니다.
임베딩 모델을 활용한 재순위화
RAG의 재순위화를 위한 Python 코드
LLM을 위한 효과적인 프롬프트 작성
일부 실험을 필요로 하지만
아직도 LLM이 당신이 원하는 것을 이해하려고 애를 쓰지 않도록 하기 위해 효과적인 프롬프트를 작성하는 데 사용되는 일반적인 접근 방법이 몇 가지 있습니다.
LLM 요약 능력 비교
8개의 llama3 (Meta+) 및 5개의 phi3 (Microsoft) LLM 버전
다양한 파라미터 수와 양자화된 모델들이 어떻게 작동하는지 테스트해보았습니다.