Self-Hosting

Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych poleceniach, konfiguracjach i najlepszych praktykach.

Uruchamianie dużych modeli językowych (LLM) lokalnie staje się coraz bardziej popularne ze względu na prywatność, kontrolę kosztów i możliwości offline. Landscape zmienił się znacząco w kwietniu 2025 roku, gdy Docker wprowadził Docker Model Runner (DMR), oficjalne rozwiązanie do wdrażania modeli AI.

W obecnej sytuacji informatycznej wirtualizacja stała się nieodzowna dla rozwoju, testowania i uruchamiania wielu systemów operacyjnych. Dla użytkowników systemu Linux poszukujących prostego i intuicyjnego sposobu zarządzania maszynami wirtualnymi, GNOME Boxes wyróżnia się jako lekki i przyjazny dla użytkownika wybór, który priorytetyzuje łatwość użycia bez poświęcania funkcjonalności.

Multipass to lekki menedżer maszyn wirtualnych, który ułatwia tworzenie i zarządzanie instancjami chmurowymi Ubuntu na systemach Linux, Windows i macOS.

Choć Google dominuje rynek wyszukiwarek z udziałem ponad 90% światowego rynku, to rosnąca ekosystemu alternatywnych wyszukiwarek oferuje różne podejścia do wyszukiwania w sieci.

Przyszłość AI nie polega tylko na bardziej wyrafinowanych modelach – polega na bardziej wyrafinowanym krzemie.

Specjalistyczne sprzęty do wyznaczania wyników modeli językowych napędzają rewolucję podobną do przejścia górnictwa bitcoina na ASICy.

Sieć WWW została pierwotnie zaprojektowana jako decentralizowana sieć, w której każdy mógł publikować i łączyć się. Z czasem korporacyjne platformy skonsolidowały kontrolę, tworząc ogrody ogrodnicze, w których użytkownicy są produktami, a zawartość jest zablokowana. Ruch Indie Web ma na celu przywrócenie pierwotnego obietnicy sieci WWW: własna własność, kreatywna swoboda i autentyczne połączenia.

NVIDIA DGX Spark jest prawdziwy, dostępny od 15 października 2025 r., skierowany do deweloperów CUDA potrzebujących lokalnej pracy z modelami LLM z zintegrowanym stackiem AI NVIDIA. Cena MSRP w USA: 3 999 USD; ceny detaliczne w Wielkiej Brytanii/Niemczech/Japonii są wyższe ze względu na VAT i kanały dystrybucji. Publiczne ceny w AUD/KRW nie są jeszcze szeroko publikowane.

Protokół Gemini reprezentuje powrót do podstaw komunikacji internetowej - lekkie, bezpieczne i szanujące prywatność alternatywy dla coraz bardziej skomplikowanego współczesnego sieci.

Ten przewodnik oferuje kompleksowy przegląd dostępnych Go SDKs dla Ollama i porównuje ich zestawy funkcji.

Oto porównanie między Qwen3:30b a GPT-OSS:20b skupiające się na przestrzeganiu instrukcji i parametrach wydajności, specyfikacjach oraz prędkości.

Oto szybki przegląd Write.as / WriteFreely – jak pasuje do fediverse, gdzie znaleźć hosting zarządzany, jak wygląda trend wykorzystania, oraz jak samodzielnie zainstalować (wraz z szacunkowymi kosztami).

W tym wpisie omówimy dwa sposoby połączenia swojej aplikacji Python z Ollama: 1. Poprzez HTTP REST API; 2. Poprzez oficjalną bibliotekę Pythona do Ollama.

Proxmox Virtual Environment (Proxmox VE) to otwarty źródłowy, typu 1 hypervisor i platforma orchestracji centrów danych oparta na Debianie.

Porównajmy ceny najwyższych pod względem wydajności kart graficznych konsumenckich, które są szczególnie odpowiednie do modeli językowych (LLM) oraz sztucznej inteligencji ogólnie. Konkretnie przyglądam się cenom RTX-5080 i RTX-5090. Nieco spadły.