Hardware

Porównajmy ceny głównych kart graficznych konsumenckich, które są szczególnie odpowiednie dla modeli LLM i sztucznej inteligencji ogólnie.

W szczególności analizuję ceny RTX-5080 i RTX-5090.

Demokratyzacja sztucznej inteligencji jest tuż przed nami. Dzięki otwartym modelom LLM takim jak Llama, Mistral i Qwen, które dorównują już modelom własnościowym, zespoły mogą budować potężną infrastrukturę AI na sprzęcie konsumenckim – drastycznie obniżając koszty, jednocześnie zachowując pełną kontrolę nad prywatnością danych i wdrożeniem.

Docker Model Runner to oficjalne narzędzie firmy Docker do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.

Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych poleceniach, konfiguracjach i najlepszych praktykach.

W obecnej sytuacji informatycznej wirtualizacja stała się nieodzowna dla rozwoju, testowania i uruchamiania wielu systemów operacyjnych. Dla użytkowników systemu Linux poszukujących prostego i intuicyjnego sposobu zarządzania maszynami wirtualnymi, GNOME Boxes wyróżnia się jako lekki i przyjazny dla użytkownika wybór, który priorytetyzuje łatwość użycia bez poświęcania funkcjonalności.

Przyszłość AI to nie tylko kwestia bardziej inteligentnych modeli. Dotyczy ona również półprzewodników, które są dostosowane do rzeczywistego sposobu uruchamiania tych modeli. Specjalistyczny sprzęt do wnioskowania LLM podąża ścieżką przypominającą ewolucję kopania Bitcoina od GPU po dedykowane układy ASIC, jednak w znacznie trudniejszych warunkach, ponieważ modele i schematy precyzji wciąż się zmieniają.

NVIDIA DGX Spark jest prawdziwy, trafił do sprzedaży 15.10.2025 i jest skierowany do developerów CUDA, potrzebujących lokalnej pracy z LLM z zintegrowanym stakiem AI od NVIDII. amerykańska cena katalogowa (MSRP) wynosi 3 999 USD; ceny detaliczne w Wielkiej Brytanii/Niemczech/Japonii są wyższe ze względu na VAT i marże kanałowe. Publiczne ceny w AUD/KRW nie są jeszcze szeroko opublikowane.

Porównajmy ceny najwyższych pod względem wydajności kart graficznych konsumenckich, które są szczególnie odpowiednie do modeli językowych (LLM) oraz sztucznej inteligencji ogólnie. Konkretnie przyglądam się cenom RTX-5080 i RTX-5090. Nieco spadły.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia wkrótce wypuści NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell, z ponad 128 GB pamięci unifikowanej i wydajnością AI na poziomie 1 PFLOPS. Wspaniałe urządzenie do uruchamiania LLM.

Porównajmy ceny czołowych kart GPU dla konsumentów, które są szczególnie odpowiednie dla modeli LLM i ogólnie dla AI. W szczególności zwróćmy uwagę na ceny RTX 5080 i RTX 5090. Nieco spadły.

Tylko trzy miesiące temu nie mogliśmy kupić RTX 5090 w sklepach, a teraz są już dostępne, choć ceny są nieco wyższe niż MSRP. Porównajmy najniższe ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak wygląda sytuacja.

Dla porównania zobacz też Ceny RTX 5080 i RTX 5090 w Australii – lipiec 2025, październik 2025 oraz listopad 2025.

Najlepszy zautomatyzowany system do niesamowitej pracy.

Wpływ linii PCIe na wydajność LLM? W zależności od zadania. W przypadku treningu i inferencji wielokartowej – spadek wydajności jest istotny.

Zostałem mocno trafiony tym problemem. Ale jeśli twój BSOD wygląda podobnie jak mój, powinieneś zbadać i przetestować swój komputer.
Przyczyna tkwi w problecie degradacji procesora Intel w 13. i 14. generacji.