Hardware

A hub for compute hardware analysis covering GPUs, CPUs, memory trends, and AI-focused workstation infrastructure.

Samowystarczalność LLM (large language models) pozwala zachować kontrolę nad danymi, modelami i wnioskowaniem - praktyczna droga do samowystarczalności w zakresie AI dla zespołów, przedsiębiorstw i narodów.
Oto: co to jest samowystarczalność w zakresie AI, które aspekty i metody są wykorzystywane do jej budowania, jak samowystarczalne LLM wchodzą w grę, jak kraje radzą sobie z tym wyzwaniem.

Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zero kosztów API. Ten benchmark pokazuje dokładnie, co można oczekiwać od 9 popularnych LLM na Ollama na RTX 4080.

Dziś zajmiemy się najwyższy poziom konsumentów GPU i modułami RAM. Konkretnie patrzę na ceny RTX-5080 i RTX-5090, oraz 32GB (2x16GB) DDR5 6000.

Jednym z najważniejszych narzędzi dla użytkowników systemu Linux to symulator terminala.

The NVIDIA DGX Spark (GB10 Grace Blackwell) jest teraz dostępny w Australii w głównych sklepach z komputerami z lokalnym zapasem. Jeśli śledziliście cenę i dostępność DGX Spark na całym świecie, to interesujące będzie dla Was, że w Australii ceny oscylują od 6 249 do 7 999 AUD w zależności od konfiguracji pamięci i sklepu.

Cognee to framework w języku Python do tworzenia grafów wiedzy z dokumentów za pomocą LLM. Ale działa on z modelami samowystawianymi?

Po automatycznym zainstalowaniu nowego jądra, Ubuntu 24.04 straciła połączenie sieciowe ethernet. To irytujące pytanie wystąpiło u mnie drugi raz, dlatego dokumentuję rozwiązanie, aby pomóc innym, którzy napotkali ten sam problem.

Z tą szalonym niestabilnością cen RAM, aby utworzyć lepszy obraz, najpierw sami śledź cenę RAM w Australii.

Rynek pamięci doświadcza niezwykłej zmienności cen w późnym 2025 roku, z nadmierne wzrosty cen RAM obserwowane w całych segmentach.

Porównajmy ceny najnowszych kart graficznych dla użytkowników końcowych, które są szczególnie odpowiednie do LLM, a także ogólnie do AI. Konkretnie zajmuję się cenami RTX-5080 i RTX-5090.

Demokratyzacja AI jest tu. Z powodu otwartych źródeł LLM takich jak Llama 3, Mixtral i Qwen, które teraz rywalizują z modelami prywatnymi, zespoły mogą tworzyć potężną infrastrukturę AI za pomocą sprzętu konsumenta - znacznie obniżając koszty, jednocześnie utrzymując pełną kontrolę nad prywatnością danych i wdrażaniem.

Docker Model Runner to narzędzie oficjalne Dockera do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.

Znalazłem kilka ciekawych testów wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025 roku. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych komendach, konfiguracjach i najlepszych praktykach.

W obecnej sytuacji informatycznej wirtualizacja stała się nieodzowna dla rozwoju, testowania i uruchamiania wielu systemów operacyjnych. Dla użytkowników systemu Linux poszukujących prostego i intuicyjnego sposobu zarządzania maszynami wirtualnymi, GNOME Boxes wyróżnia się jako lekki i przyjazny dla użytkownika wybór, który priorytetyzuje łatwość użycia bez poświęcania funkcjonalności.