Self-Hosting

올라마가 병렬 요청을 처리하는 방법

올라마가 병렬 요청을 처리하는 방법

Ollama의 동시성, 큐잉 원리를 이해하고 안정적인 병렬 요청을 위해 OLLAMA_NUM_PARALLEL을 조정하는 방법을 알아봅니다.

이 가이드는 Ollama가 병렬 요청을 처리하는 방식(동시성, 큐잉, 리소스 한계)과 OLLAMA_NUM_PARALLEL 환경 변수(및 관련 설정)를 사용하여 이를 조정하는 방법을 설명합니다.

Ollama에서 Deepseek-R1 테스트

Ollama에서 Deepseek-R1 테스트

두 개의 deepseek-r1 모델을 두 개의 기본 모델과 비교합니다.

DeepSeek’s 첫 세대 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 추출한 6개의 밀집 모델입니다.

셀프 호스팅 SearXNG

셀프 호스팅 SearXNG

SearXNG 에 대한 몇 가지 세부 사항

SearXNG 는 Searx 에서 포크된 무료 오픈소스 페더레이션 메타검색 엔진입니다. GitHub 의 SearXNG 프로젝트 는 1 만 5 천 개 이상의 별점을 보유하고 있습니다.

PyInstaller 빠른 시작

PyInstaller 빠른 시작

파이썬 프로그램을 단일 파일로 결합하기

PyInstaller을 사용하여 Python 프로그램을 단일 실행 파일로 패키징할 수 있습니다. Linux, Windows, Mac에서 모두 작동합니다.

가장 효율적인 방법은 아니지만, 사용할 수 있습니다.