Szybkość generowania tokenów llama.cpp na VRAM 16 GB (tabele).
Porównuję tutaj prędkość działania kilku modeli LLM uruchamianych na GPU z 16 GB pamięci VRAM, wybierając najlepszy do samodzielnego hostowania.
RTX 5090 w Australii jest rzadkością i zawyżona cenowo.
Australia ma na stanie karty RTX 5090. Ledwie. A jeśli którąś znajdziesz, zapłacisz cenę, która wydaje się oderwana od rzeczywistości.
Kontroluj dane i modele za pomocą własnych, lokalnie hostowanych LLM
Hositing własny LLM daje kontrolę nad danymi, modelami i wnioskowaniem – jest to praktyczna droga do sukwerenności AI dla zespołów, przedsiębiorstw i krajów.
Test prędkości LLM na RTX 4080 z 16 GB pamięci VRAM
Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zerowe koszty API. Ten benchmark ujawnia dokładnie, czego można oczekiwać od 14 popularnych LLM w Ollama na RTX 4080.
Sprawdzenie cen GPU i RAM na styczniu 2025
Dziś zajmiemy się najwyższy poziom konsumentów GPU i modułami RAM. Konkretnie patrzę na ceny RTX-5080 i RTX-5090, oraz 32GB (2x16GB) DDR5 6000.
Wybierz odpowiedni terminal dla swojego przepływu pracy w Linuxie
Jednym z najważniejszych narzędzi dla użytkowników systemu Linux to symulator terminala.
Prawdziwe ceny w AUD od australijskich sprzedawców już teraz.
NVIDIA DGX Spark](https://www.glukhov.org/pl/hardware/ai/nvidia-dgx-spark/ “NVIDIA DGX Spark - mały superkomputer AI”) (GB10 Grace Blackwell) jest dostępny w Australii w głównych sklepach z komputerami, z miejscowym zapasem. Jeśli śledzicie ceny i dostępność DGX Spark na świecie, zainteresuje Was zapewne, że ceny w Australii wahają się od 6 249 do 7 999 AUD w zależności od konfiguracji pamięci masowej i sprzedawcy.
Testowanie Cognee z lokalnymi modelami LLM - rzeczywiste wyniki
Cognee to framework w Pythonie do budowania grafów wiedzy z dokumentów za pomocą LLM. Ale działa on z modelami samozhostowanymi?
Jak naprawiłem problemy sieciowe w Ubuntu
Po automatycznym zainstalowaniu nowego jądra, Ubuntu 24.04 straciła połączenie sieciowe ethernet. To irytujące pytanie wystąpiło u mnie drugi raz, dlatego dokumentuję rozwiązanie, aby pomóc innym, którzy napotkali ten sam problem.
Krótki post, jedynie odnotowujący cenę.
W obliczu tej szalonej zmienności cen pamięci RAM, aby uzyskać lepszy pogląd, najpierw sami zatrakujemy ceny pamięci RAM w Australii.
Ceny pamięci RAM wzrosły o 163–619% w wyniku napiętej podaży spowodowanej rosnącym popytem na AI.
Rynek pamięci doświadcza bezprecedensowej zmienności cen pod koniec 2025 roku, z gwałtownym wzrostem cen pamięci RAM na wszystkich segmentach.
Ceny GPU konsumenckich przyjaznych AI – RTX 5080 i RTX 5090
Porównajmy ceny głównych kart graficznych konsumenckich, które są szczególnie odpowiednie dla modeli LLM i sztucznej inteligencji ogólnie.
W szczególności analizuję ceny RTX-5080 i RTX-5090.
Wdrażanie przedsiębiorstwowej sztucznej inteligencji na budżetowym sprzęcie przy użyciu modeli open-source.
Demokratyzacja sztucznej inteligencji jest tuż przed nami. Dzięki otwartym modelom LLM takim jak Llama, Mistral i Qwen, które dorównują już modelom własnościowym, zespoły mogą budować potężną infrastrukturę AI na sprzęcie konsumenckim – drastycznie obniżając koszty, jednocześnie zachowując pełną kontrolę nad prywatnością danych i wdrożeniem.
Włącz przyspieszenie GPU dla Docker Model Runner z obsługą NVIDIA CUDA
Docker Model Runner to oficjalne narzędzie firmy Docker do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.
Wyniki testów GPT-OSS 120b na trzech platformach AI
Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).
