Hardware

Docker Model Runner to narzędzie oficjalne Dockera do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.

Znalazłem kilka ciekawych testów wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025 roku. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych komendach, konfiguracjach i najlepszych praktykach.

W obecnej sytuacji informatycznej wirtualizacja stała się nieodzowna dla rozwoju, testowania i uruchamiania wielu systemów operacyjnych. Dla użytkowników systemu Linux poszukujących prostego i intuicyjnego sposobu zarządzania maszynami wirtualnymi, GNOME Boxes wyróżnia się jako lekki i przyjazny dla użytkownika wybór, który priorytetyzuje łatwość użycia bez poświęcania funkcjonalności.

Przyszłość AI nie jest tylko o bardziej inteligentne modele – jest o bardziej inteligentny krzem.
Specjalistyczne sprzęty do wyznaczania wyników LLM napędzają rewolucję podobną do przejścia od wydobywania bitcoina do ASICów.

NVIDIA DGX Spark jest rzeczywisty, dostępny do zakupu 15 października 2025 roku, i skierowany do programistów CUDA, którzy potrzebują lokalnej pracy z LLM zintegrowanej z NVIDIA AI stack. Cena MSRP w Stanach Zjednoczonych to $3 999; UK/DE/JP ma wyższą cenę detaliczną z powodu VAT i kanałów. AUD/KRW publiczne ceny są jeszcze nie powszechnie opublikowane.

Proxmox Virtual Environment (Proxmox VE) to otwarty źródłowy, typu 1 hypervisor i platforma orchestracji centrów danych oparta na Debianie.

Znowu i znowu porównajmy ceny najnowszych kart graficznych dla użytkowników końcowych, które są odpowiednie do LLM i ogólnie do AI.

Konkretnie patrzę na ceny RTX-5080 i RTX-5090. Słabo spadły.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

NVIDIA wkrótce wyda NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell z 128+GB jednolitej pamięci RAM i wydajnością 1 PFLOPS w zakresie AI. Świetny sprzęt do uruchamiania LLM.

Porównajmy ceny najlepszych kart graficznych na poziomie konsumenckim, które są odpowiednie do LLM i ogólnie do AI.

Zobacz dokładnie na ceny RTX 5080 i RTX 5090. Slighty spadły.

Dopiero trzy miesiące temu nie widzieliśmy RTX 5090 w sklepach, a teraz już są, ale ceny są nieco wyższe niż MRSP. Porównajmy najtańsze ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak to wygląda.

Najlepszy automatyczny system do pewnego wspaniałego zadania.

Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

Zostałem mocno trafiony tym problemem. Ale jeśli twój BSOD wygląda podobnie jak mój, powinieneś zbadać i przetestować swój komputer.
Przyczyna tkwi w problecie degradacji procesora Intel w 13. i 14. generacji.

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.