Self-Hosting

Jak Ollama obsługuje równoległe żądania

Jak Ollama obsługuje równoległe żądania

Zrozumienie współbieżności Ollamy, kolejkowania oraz sposobu dostrajania OLLAMA_NUM_PARALLEL w celu zapewnienia stabilnych równoległych zapytań.

Ten przewodnik wyjaśnia jak Ollama obsługuje równoległe żądania (konkurencja, kolejki i limity zasobów) oraz jak je optymalizować za pomocą zmiennej środowiskowej OLLAMA_NUM_PARALLEL (i powiązanych parametrów).

Testowanie Deepseek-R1 na Ollama

Testowanie Deepseek-R1 na Ollama

Porównanie dwóch modeli deepseek-r1 z dwoma modelami bazowymi

Modeli DeepSeek pierwszego pokolenia z wydajnością porównywalną do modeli OpenAI-o1, w tym sześć gęstych modeli oddestylowanych z DeepSeek-R1 opartych na Llama i Qwen.

Samodzielne hostowanie SearXNG

Samodzielne hostowanie SearXNG

Niektóre szczegóły dotyczące SearXNG

SearXNG to darmowy, federacyjny silnik metawyszuki oparty na kodzie otwartym, będący odgałęzieniem projektu Searx. Projekt SearXNG na GitHubie ma ponad 15k gwiazdek.

Szybki start z PyInstallerem

Szybki start z PyInstallerem

Połączenie programu w Pythonie w pojedynczy plik

Użyj PyInstaller do pakowania programów Python jako samodzielnych wykonywalnych plików. Działa na Linuxie, Windowsie i Macu.

Nie najbardziej wydajny sposób, ale użyteczny.