Self-Hosting

Ollama szybko stało się jednym z najpopularniejszych narzędzi do uruchamiania modeli językowych na lokalnym komputerze.
Jego proste CLI i zoptymalizowane zarządzanie modelami sprawiły, że stało się preferowanym wyborem dla programistów, którzy chcą pracować z modelami AI poza chmurą.

Mumble to darmowy i open-source aplikacja do wideo i głosu (VoIP), zaprojektowana głównie do czasu rzeczywistego komunikowania się głosem. Wykorzystuje architekturę klient-serwer, gdzie użytkownicy łączą się z udostępnionym serwerem, aby rozmawiać ze sobą.

Lokalnie hostowane Ollama umożliwia uruchomienie dużych modeli językowych na własnym komputerze, ale korzystanie z niego za pośrednictwem wiersza poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Oto krok po kroku instrukcja instalacji
3-węzłowego klastra K3s
na serwerach nago metalowych (1 serwer główny + 2 serwery robocze).

Porównanie dystrybucji self-hosting Kubernetes przeznaczonych do hostowania na serwerach nago-metalowych lub domowych, zwracając uwagę na łatwość instalacji, wydajność, wymagania systemowe oraz zestaw funkcji.

Porównuję wersje samowystarczalnego Kubernetesa, które nadają się do homelaba opartego na Ubuntu z 3 węzłami (16 GB RAM, 4 rdzenie CPU każdy), skupiając się na łatwości instalacji i konserwacji, obsłudze persistent volumes i LoadBalancers.

GitHub Actions jest platformą automatyzacji i CI/CD w ramach GitHub, używaną do budowania, testowania i wdrażania kodu na podstawie zdarzeń, takich jak push, żądania pull request lub harmonogram.

Oto szkolenie z Docker Compose z objaśnionymi przykładami, które pomogą Ci szybko opanować pliki i polecenia Compose.

Oto szczegółowe omówienie Obsidian jako potężnego narzędzia do zarządzania osobistą wiedzą (PKM), opisującego jego architekturę, funkcje, mocne strony oraz sposób wspierania nowoczesnych przepływów pracy związanych z wiedzą.

Nvidia wkrótce wypuści NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell, z ponad 128 GB pamięci unifikowanej i wydajnością AI na poziomie 1 PFLOPS. Wspaniałe urządzenie do uruchamiania LLM.

Spójrzmy szybko na Matomo, Plausible, google i inne dostawcy i systemy analizy web dostępne do samowystawiania i porównajmy je.

Oto moje ulubione kroki podczas nowej instalacji Ubuntu 24.04. To, co lubię tutaj – nie muszę instalować sterowników NVidia! Są instalowane automatycznie.

Dokuwiki to samowystarczalny wikipedia, który można łatwo hostować lokalnie, bez konieczności korzystania z baz danych.
Wcześniej uruchamiałem go w wersji dockerowej, na moim własnym klastrze Kubernetes.

Porównajmy ceny czołowych kart GPU dla konsumentów, które są szczególnie odpowiednie dla modeli LLM i ogólnie dla AI. W szczególności zwróćmy uwagę na ceny RTX 5080 i RTX 5090. Nieco spadły.

Apache Airflow to otwarty platforma programowy, zaprojektowana do programistycznej tworzenia, harmonogramowania i monitorowania przepływów pracy – całkowicie w kodzie Pythona, oferując elastyczne i potężne alternatywy dla tradycyjnych, ręcznych lub opartych na interfejsie graficznym narzędzi do zarządzania przepływami pracy.