LLM Hosting

Konfigurowanie rozmiarów kontekstu w Docker Model Runner jest bardziej skomplikowane, niż powinno być.

Docker Model Runner to oficjalne narzędzie firmy Docker do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych poleceniach, konfiguracjach i najlepszych praktykach.

Uruchamianie dużych modeli językowych (LLM) lokalnie staje się coraz bardziej popularne ze względu na prywatność, kontrolę kosztów i możliwości offline. Landscape zmienił się znacząco w kwietniu 2025 roku, gdy Docker wprowadził Docker Model Runner (DMR), oficjalne rozwiązanie do wdrażania modeli AI.

Ten przewodnik oferuje kompleksowy przegląd dostępnych Go SDKs dla Ollama i porównuje ich zestawy funkcji.

W tym wpisie omówimy dwa sposoby połączenia swojej aplikacji Python z Ollama: 1. Poprzez HTTP REST API; 2. Poprzez oficjalną bibliotekę Pythona do Ollama.

Ollama szybko stało się jednym z najpopularniejszych narzędzi do uruchamiania modeli językowych na lokalnym komputerze.
Jego proste CLI i zoptymalizowane zarządzanie modelami sprawiły, że stało się preferowanym wyborem dla programistów, którzy chcą pracować z modelami AI poza chmurą.

Lokalnie hostowane Ollama umożliwia uruchomienie dużych modeli językowych na własnym komputerze, ale korzystanie z niego za pośrednictwem wiersza poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

W tym teście porównuję, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo z języka angielskiego na niemiecki.

Użycie modeli językowych dużych (LLM) nie jest bardzo drogie, może nie być potrzeby zakupu nowego, wspaniałego GPU.
Oto lista, jeśli dostawcy LLM w chmurze z LLM, które hostują.

Modeli DeepSeek pierwszego pokolenia z wydajnością porównywalną do modeli OpenAI-o1, w tym sześć gęstych modeli oddestylowanych z DeepSeek-R1 opartych na Llama i Qwen.

Ten ściągawka CLI Ollama skupia się na poleceniach, których używasz na co dzień (ollama ls, ollama serve, ollama run, ollama ps, zarządzanie modelami i typowe przepływy pracy), wraz z przykładami do kopiowania i wklejenia.

Wspaniałe jedzenie to również przyjemność dla oczu. Ale w tym poście porównamy dwa systemy wyszukiwania oparte na AI: Farfalle i Perplexica.

To jest bardzo ekscytujące! Zamiast korzystać z Copilota lub perplexity.ai i informować cały świat o swoich potrzebach, możesz teraz hostować podobną usługę na własnym komputerze lub laptopie!

Po zainstalowaniu Ollama lepiej jest od razu skonfigurować Ollama tak, aby przechowywał je w nowej lokalizacji. Dzięki temu po pociągnięciu nowego modelu nie zostanie on pobrany do starego miejsca.