Test prędkości LLM na RTX 4080 z 16 GB VRAM
Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zero kosztów API. Ten benchmark ujawnia dokładnie, co można się spodziewać od 9 popularnych LLM na Ollama na RTX 4080.
Wyniki testów GPT-OSS 120b na trzech platformach AI
Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).
Specjalistyczne procesory sprawiają, że wnioskowanie w AI jest szybsze i tańsze.
Przyszłość AI nie polega tylko na bardziej wyrafinowanych modelach – polega na bardziej wyrafinowanym krzemie.
Specjalistyczne sprzęty do wyznaczania wyników modeli językowych napędzają rewolucję podobną do przejścia górnictwa bitcoina na ASICy.
Porównanie prędkości, parametrów i wydajności tych dwóch modeli
Oto porównanie między Qwen3:30b a GPT-OSS:20b skupiające się na przestrzeganiu instrukcji i parametrach wydajności, specyfikacjach oraz prędkości.
Nie bardzo ładnie.
Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.
Moje własne testy harmonogramowania modeli ollama
Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.
Czy myślisz o zainstalowaniu drugiej karty graficznej dla LLM?
Jak liczba linii PCIe wpływa na wydajność LLM? W zależności od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.
Ollama na procesorze Intel CPU: wydajność a jądra wydajne
Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel podniesie prędkość LLM? Zdenerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17GB na ollama) nie mieści się w 16GB VRAM mojej karty graficznej, a częściowo działa na procesorze.
AI wymaga dużej ilości mocy...
Wśród burzy współczesnego świata tutaj porównuję specyfikacje techniczne różnych kart odpowiednich do zadań AI
(uczenia głębokiego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.
Konfiguracja ollama do wykonywania równoległych żądań.
Gdy serwer Ollama otrzymuje dwa żądania jednocześnie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.
Następny etap testów LLM
Nieco wcześniej wydano. Przejdźmy do sprawy i
testuj jak Mistral Small radzi sobie w porównaniu do innych LLM.
Testowanie wykrywania błędnego rozumowania
Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Zróbmy test i zobaczmy, jak działają, gdy wykrywają błędy logiczne.
8 wersji llama3 (Meta+) i 5 wersji phi3 (Microsoft) LLM
Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.
Sprawdźmy prędkość LLM na GPU vs CPU
Porównanie prędkości przewidywania kilku wersji LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na CPU i GPU.
