Docker

Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.

Neo4j to narzędzie, do którego sięgamy, gdy relacje są danymi. Jeśli domena Twojego projektu wygląda jak tablica kreskowa z kółkami i strzałkami, wymuszanie jej na tabele jest bolesne.

SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.

Apache Kafka 4.2.0 to obecnie wspierana linia wydań i stanowi najlepszą bazę do nowoczesnego szybkiego startu, ponieważ Kafka 4.x jest w pełni pozbawiona ZooKeepera i domyślnie opiera się na KRaft.

Wkrótce będziesz jugglingować vLLM, llama.cpp i innymi – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednej bazowej URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty jednorazowe. llama-swap to proxy /v1 przed tymi stosami.

Rozwijanie oprogramowania obejmuje Git do kontroli wersji, Docker do konteneryzacji, bash do automatyzacji, PostgreSQL do baz danych oraz VS Code do edytowania – a także niezliczone inne narzędzia, które mogą zadecydować o Twojej produktywności. Ta strona gromadzi niezbędne ściągawki, przepływy pracy i porównania, które pozwolą Ci efektywnie pracować na całym stosie technologicznym.

OpenHands to platform open-source, agnostyczna wobec modeli, służąca dla agentów oprogramowania napędzanych przez AI. Pozwala ona agentowi zachowywać się bardziej jak partner programistyczny, a nie jak proste narzędzie do autouzupełniania.

LocalAI to serwer inferencji typu self-hosted i first-local zaprojektowany tak, aby zachowywał się jak kompatybilny zamiennik API OpenAI do uruchamiania obciążeń AI na Twoim własnym sprzęcie (laptop, stacja robocza lub serwer lokalny).

Inferencja modeli LLM wygląda jak „po prostu kolejny API” – aż do momentu, gdy pojawiają się spiki opóźnienia, kolejki zaczynają się gromadzić, a GPU siedzą na 95% pamięci bez wyraźnego powodu.

OpenClaw to samowystarczalny asystent AI, który można uruchomić z lokalnymi środowiskami uruchomieniowymi LLM, takimi jak Ollama, lub z modelami opartymi o chmurę, takimi jak Claude Sonnet.

Ekosystem Go nadal rozwija się dzięki innowacyjnym projektom obejmującym narzędzia AI, aplikacje samozhostowane oraz infrastrukturę dla programistów. Niniejszy przegląd analizuje najbardziej popularne repozytoria Go na GitHub w tym miesiącu.

Open WebUI to potężny, rozszerzalny i bogaty w funkcje samozostawiana aplikacja webowa do interakcji z dużymi modelami językowymi.

vLLM to wysokioprądowy, oszczędny pamięciowo silnik inferencji i serwowania dla Dużych Modeli Językowych (LLM), opracowany przez Laboratorium Obliczeń Nieba UC Berkeley.

Cognee to framework w Pythonie do budowania grafów wiedzy z dokumentów za pomocą LLM. Ale działa on z modelami samozhostowanymi?

Uruchamianie modeli językowych (LLM) lokalnie jest teraz praktyczne dla programistów, startupów i nawet zespołów z branży korporacyjnej.
Ale wybór odpowiedniego narzędzia — Ollama, vLLM, LM Studio, LocalAI lub innych — zależy od Twoich celów:

Nowoczesna rozwój w języku Go wymaga rygorystycznych standardów jakości kodu. Lintery dla Go automatyzują wykrywanie błędów, wadliwości bezpieczeństwa oraz niezgodności stylu przed ich dotarciem do produkcji.