Self-Hosting

Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.

Duże modele językowe (LLMs)
są potężne, ale w środowisku produkcyjnym rzadko chcemy wolnych paragrafów.
Zamiast tego chcemy przewidywalne dane: atrybuty, fakty lub strukturalne obiekty, które można przekazać do aplikacji.
To Strukturalne wyjście LLM.

Dla fanów KDE Plasma w dyskusjach często pojawiają się dwie dystrybucje Linuksa: Kubuntu i KDE Neon. Mogą wydawać się podobne – obie dostarczają KDE Plasma jako domyślny pulpit, obie są oparte na Ubuntu i obie są przyjazne dla początkujących.

Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.

Ten przewodnik pokaże Ci, jak zmienić stały adres IP na serwerze Ubuntu.

Ollama szybko stało się jednym z najpopularniejszych narzędzi do uruchamiania modeli językowych na lokalnym komputerze.
Jego proste CLI i zoptymalizowane zarządzanie modelami sprawiły, że stało się preferowanym wyborem dla programistów, którzy chcą pracować z modelami AI poza chmurą.

Mumble to darmowy i open-source aplikacja do wideo i głosu (VoIP), zaprojektowana głównie do czasu rzeczywistego komunikowania się głosem. Wykorzystuje architekturę klient-serwer, gdzie użytkownicy łączą się z udostępnionym serwerem, aby rozmawiać ze sobą.

Lokalnie hostowane Ollama umożliwia uruchomienie dużych modeli językowych na własnym komputerze, ale korzystanie z niego za pośrednictwem wiersza poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Oto krok po kroku instrukcja instalacji
3-węzłowego klastra K3s
na serwerach nago metalowych (1 serwer główny + 2 serwery robocze).

Porównanie dystrybucji self-hosting Kubernetes przeznaczonych do hostowania na serwerach nago-metalowych lub domowych, zwracając uwagę na łatwość instalacji, wydajność, wymagania systemowe oraz zestaw funkcji.

Porównuję wersje samowystarczalnego Kubernetesa, które nadają się do homelaba opartego na Ubuntu z 3 węzłami (16 GB RAM, 4 rdzenie CPU każdy), skupiając się na łatwości instalacji i konserwacji, obsłudze persistent volumes i LoadBalancers.

GitHub Actions jest platformą automatyzacji i CI/CD w ramach GitHub, używaną do budowania, testowania i wdrażania kodu na podstawie zdarzeń, takich jak push, żądania pull request lub harmonogram.

Oto Docker Compose cheatshet z opisanymi przykładami, które pomogą Ci szybko opanować pliki i polecenia Compose.

Oto szczegółowy opis
Obsidian jako potężne narzędzie do zarządzania wiedzą osobistą (PKM),
wyjaśniające jego architekturę, funkcje, zalety oraz to, jak wspiera współczesne przepływy wiedzy.

Nvidia wkrótce wypuści NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell, z ponad 128 GB pamięci unifikowanej i wydajnością AI na poziomie 1 PFLOPS. Wspaniałe urządzenie do uruchamiania LLM.