Ollama

로컬에서 호스팅된 Ollama는 대형 언어 모델을 자신의 컴퓨터에서 실행할 수 있게 해줍니다. 하지만 명령줄을 통해 사용하는 것은 사용자 친화적이지 않습니다. 다음은 로컬 Ollama에 연결되는 **ChatGPT 스타일의 인터페이스**를 제공하는 여러 오픈 소스 프로젝트입니다.

표준 Ollama에는 직접적인 재정렬 API가 없기 때문에, 쿼리-문서 쌍의 임베딩을 생성하고 이를 점수화하여 Qwen3 재정렬기 사용으로 재정렬하기(GO)를 구현해야 합니다.

이 테스트에서는 Ollama에 호스팅된 다양한 LLM이 Hugo 페이지를 영어에서 독일어로 번역하는 방법을 비교하고 있습니다. https://www.glukhov.org/ko/post/2025/06/translation-quality-comparison-llms-on-ollama/ "comparison how different LLMs hosted on Ollama translate Hugo page from English to German".

테스트한 세 페이지는 서로 다른 주제를 다루고 있으며, 마크다운 형식으로 구성되어 있습니다. 헤더, 목록, 표, 링크 등이 포함되어 있습니다.

이 작은
Reranking Go 코드 예제는 Ollama를 호출하여 쿼리와 각 후보 문서에 대한 임베딩을 생성
그런 다음 코사인 유사도에 따라 내림차순으로 정렬합니다.

Qwen3 Embedding 및 Reranker 모델은 Qwen 가족의 최신 출시물로, 고급 텍스트 임베딩, 검색 및 재정렬 작업에 특화되어 있습니다.

PCIe 랜의 수가 LLM 성능에 미치는 영향? 작업에 따라 다릅니다. 훈련 및 다중 GPU 추론의 경우 성능 저하가 상당합니다.

Ollama 모델 라이브러리에는 HTML 콘텐츠를 Markdown으로 변환할 수 있는 모델이 있습니다. 이는 콘텐츠 변환 작업에 유용합니다.
HTML을 Markdown으로 변환하는 LLM Ollama

여기 몇 가지 AI 지원 코딩 도구와 AI 코딩 어시스턴트 및 그들의 장점을 나열할 것입니다.

제가 테스트하고 싶은 이론은, 인텔 CPU에서 모든 코어를 사용하면 LLM의 속도가 빨라질까?입니다.
새로운 gemma3 27비트 모델(gemma3:27b, ollama에서 17GB)이 제 GPU의 16GB VRAM에 맞지 않아, 일부는 CPU에서 실행되고 있다는 점이 제게 괴롭습니다.

Ollama 서버가 동일한 시간에 두 개의 요청을 받을 경우, 그 동작은 구성 설정과 사용 가능한 시스템 자원에 따라 달라집니다.

DeepSeek’s 첫 번째 세대의 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 압축한 6개의 밀집 모델입니다.

이것은 가장 유용한 Ollama 명령어 목록과 예시입니다 (Ollama 명령어 참고서)
일전에 제가 정리한 것입니다.
당신에게도 유용할 것으로 기대합니다 (여기로).

얼마 전에 출시되었습니다. 지금 바로 확인하고
다른 LLM과 비교하여 Mistral Small의 성능을 테스트해보세요.

Reranking은 검색 증강 생성 (RAG) 시스템에서 두 번째 단계로, 검색과 생성 사이에 위치합니다.

맛있는 음식은 눈에도 즐거움을 줍니다.
하지만 이번 포스팅에서는 두 가지 AI 기반의 검색 시스템인 Farfalle 및 Perplexica를 비교해 보겠습니다.

정말 흥미롭습니다! 이제 Copilot이나 perplexity.ai에 모든 세상에 당신이 원하는 것을 말하는 대신, 자신의 PC 또는 랩탑에 유사한 서비스를 호스팅할 수 있습니다!