LLM Performance

We wrześniu 2026 roku efektywna frontiera otwartych modeli znajduje się w zakresie od 25 do 34 miliardów parametrów: zadania agenticzne bliskie frontier na jednej karcie GPU o pamięci 24 GB, przy ułamku kosztów sprzętu klasy 70B.

Model może reklamować okno kontekstowe 128K i mimo to zawiedzie przy 40K tokenach na karcie GPU 16 GB. Architektoniczny limit nigdy nie gwarantował, że wagi, cache KV, bufora obliczeniowe i kompozytor pulpitu zmieszczą się jednocześnie na Twojej karcie.

Model o 70 mld parametrów generuje jeden token w jednym przebiegu przodowym (forward pass), przy czym każda taka operacja powoduje ponowne wczytywanie wag z pamięci VRAM, obliczanie mechanizmu uwagi na całym kontekście oraz synchronizację pamięci. W odstępach między tokenami GPU pozostaje nieczynne, czekając na wyznaczenie zależności sekwencyjnych.

Przetestowałem wydajność dekodowania spekulatywnego (Predykcja Wielu Tokenów, MTP) w modelach Qwen 3.6 27B i 35B na karcie RTX 4080 z 16 GB pamięci VRAM.

Większość tutoriali dotyczących „strukturyzowanego wyjścia” (structured output) w LLM jest nieodpowiedzialna. Uczą, jak grzecznie poprosić o JSON, a potem liczą, że model zachowa się poprawnie. To nie jest walidacja. To optymizm z nawiasami klamrowymi.

Ta strona stanowi praktyczny przewodnik do dostrajania wnioskowania agenticznego LLM (temperatura, top_p, top_k, kary i ich wzajemne oddziaływania w wieloetapowych przepływach pracy oraz w scenariuszach intensywnie wykorzystujących narzędzia).

Oto porównuję szybkość kilku modeli LLM działających na GPU z 16 GB pamięci VRAM i wybieram najlepszy z nich do samodzielnego hostingu.

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline i zerowe koszty API. Ten benchmark dokładnie pokazuje, czego można oczekiwać od 14 popularnych LLM na Ollama na karcie RTX 4080.

Pracując z dużymi modelami językowymi (LLM) w środowisku produkcyjnym, kluczowe jest uzyskiwanie ustrukturyzowanych wyjść bezpiecznych typowo.

Dwa popularne frameworki – BAML i Instructor – stosują różne podejścia do rozwiązania tego problemu.

Optymalizacja tokenów to kluczowa umiejętność rozdziela efektywne kosztowo aplikacje LLM od eksperymentów pochłaniających budżet.

Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Przyszłość AI to nie tylko kwestia bardziej inteligentnych modeli. Dotyczy ona również półprzewodników, które są dostosowane do rzeczywistego sposobu uruchamiania tych modeli. Specjalistyczny sprzęt do wnioskowania LLM podąża ścieżką przypominającą ewolucję kopania Bitcoina od GPU po dedykowane układy ASIC, jednak w znacznie trudniejszych warunkach, ponieważ modele i schematy precyzji wciąż się zmieniają.

Oto porównanie Qwen3:30b i GPT-OSS:20b z naciskiem na przestrzeganie instrukcji oraz parametry wydajności, specyfikacje i prędkość.

Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.

Oto porównanie wsparcia dla ustrukturyzowanego wyjścia (podejmowanie wiarygodnego JSON z powrotem) między popularnymi dostawcami LLM, oraz minimalistyczne przykłady w Pythonie