LLM Performance

Wielkie modele językowe (LLM) są potężne, ale w środowisku produkcyjnym rzadko chcemy otrzymywać swobodne akapity. Zamiast tego oczekujemy przewidywalnych danych: atrybutów, faktów lub strukturyzowanych obiektów, które możemy podać jako dane wejściowe do aplikacji. Oto czym jest Strukturyzowany Output LLM.

Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.

Wpływ linii PCIe na wydajność LLM? W zależności od zadania. W przypadku treningu i inferencji wielokartowej – spadek wydajności jest istotny.

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel podniesie prędkość LLM? Zdenerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17GB na ollama) nie mieści się w 16GB VRAM mojej karty graficznej, a częściowo działa na procesorze.

Wśród współczesnych burz porównuję specyfikacje techniczne różnych kart odpowiednich do zadań w zakresie AI (Deep Learning, Object Detection oraz LLMs). Są one jednak niezwykle drogie.

Ten przewodnik wyjaśnia sposób, w jaki Ollama obsługuje równoległe żądania (koncelewność, kolejkowanie i ograniczenia zasobów) oraz jak dostosować jego działanie za pomocą zmiennej środowiskowej OLLAMA_NUM_PARALLEL (oraz powiązanych parametrów).

Nieco wcześniej wydano. Przejdźmy do sprawy i
testuj jak Mistral Small radzi sobie w porównaniu do innych LLM.

Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Zróbmy test i zobaczmy, jak działają, gdy wykrywają błędy logiczne.

Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.

Porównanie prędkości przewidywania kilku wersji LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na CPU i GPU.