Co po LLM? Mamba, difuzja i modele świata

Hype wokół AI podąża za pewnym rytmem: mniej więcej co trzy lata architektura, na którą wszyscy stawiają, zostaje wypierana przez coś nowszego. Kolejna zmiana już kształtuje się w laboratoriach badawczych.

Niniejszy tekst to przegląd naj mocniejszych kandydatów do zastąpienia transformera oraz dowodów na to, że zmiana jest już w toku. Wzorzec powtarza się: dominująca architektura, ściana, której nie da się przeskoczyć poprzez skalowanie, oraz nowy projekt, który omija tę barierę.

W tym artykule przejdziemy przez cztery ograniczenia, które zamykają się wokół transformerów, trzy alternatywne architektury oraz to, co mówią hybrydowe systemy już działające w produkcji. Celem jest praktyczna lektura dla inżynierów decydujących, co projektować na 2027 rok i dalej — nie jest to rynek przewidywań, lecz jedynie przegląd dowodów dostępnych w 2026 roku.

Wzorzec: trzyletni cykl przełomów w AI

Co kilka lat środek ciężkości AI przesuwa się w inną stronę:

Transformery pojawiły się około 2017 roku i sprawiły, że RNN i CNN wyglądały jak relikty. Modele dyfuzyjne przejęły następnie generowanie obrazów między 2020 a 2022 rokiem. A LLM-y wybuchły na wszystko począwszy od 2022 roku, wraz z GPT-3 i ChatGPT.

Zgodnie z tym wzorcem, powinniśmy zbliżać się do kolejnego przełomu. On już się dzieje — tylko nie tam, gdzie by się tego spodziewać. Nie w mediach społecznościowych ani w komunikatach prasowych, ale w laboratoriach badawczych.

Yann LeCun spędził rok 2025, argumentując, że autoregresyjne LLM-y są fundamentalnie ograniczone. „Potrzebujemy modeli świata, a nie predyktorów słów” — mówił na konferencji po konferencji. Tymczasem jego zespół opublikował serię prac na temat Architektury Wspólnych Osadzeń Predykcyjnych (JEPA) — najpierw dla obrazów, potem dla wideo, a następnie dla języka we wrześniu 2025 roku.

Wspierające dowody z ostatnich dwunastu miesięcy są wyjątkowo konkretne:

• Modele stanów przestrzeni, takie jak Mamba, radzą sobie z kontekstami milionów tokenów przy skalowaniu liniowym — czego transformery nie potrafią z powodu swojego kwadratowego mechanizmu uwagi.
• Google ogłosiło Gemini Diffusion, obiecując generowanie tekstu do 10 razy szybsze.
• NVIDIA wypuściła Nemotron 3 z wbudowanymi warstwami Mamba-2.
• Chiński Qwen3.5 wszedł do produkcji, używając Gated DeltaNets.
• W grudniu 2025 roku pojawiło się VL-JEPA — model językowo-wizualny z połową parametrów konkurencji, który nadal osiągał lepsze wyniki.

Dlaczego transformery wyczerpują swoje możliwości

Transformery są niesamowite w tym, co robią. Ale cztery problemy zbliżają się coraz bardziej, których żadne skalowanie nie jest w stanie naprawić.

Kwadratowa uwaga psuła się przy długim kontekście

Samouwaga oznacza, że każdy token rozmawia z każdym innym tokenem — złożoność O(n²). Podwojenie kontekstu czworokrotnie zwiększa obliczenia. Przy 10 milionach tokenów matematyka po prostu się załamuje. Można wrzucać w to więcej GPU, ale toczy się walka z podstawowym arytmetyką.

Dane treningowe się wyczerpują

LLM-y trenują na tekście z internetu, a do 2026 roku większość z niego została już wyskrobana. Książki, Wikipedia, Reddit, GitHub — wszystko zostało skonsumowane. Sztuczne dane brzmiały jak rozwiązanie, dopóki nie zorientowaliśmy się, że modele trenowane na tekście generowanym przez AI degradują się z pokolenia na pokolenie: uczą się artefaktów i uprzedzeń samego procesu generowania. Prawa skalowania, które napędzały wszystko od 2020 do 2024 roku, zaczynają dawać malejące korzyści.

Energia i koszty to twardy sufit

Modele frontowe kosztują obecnie dziesiątki lub setki milionów na szkolenie. Obsługa miliardów dziennych żądań spala ogromną moc obliczeniową. Centra danych AI potrzebują gawatów energii, a zdolność generacji mocy staje się wąskim gardłem. Sam Altman przyznał w 2024 roku, że koszty obliczeń ograniczają wszystko — i nic się w tej kwestii nie zmieniło.

Jeśli ograniczeniem jest energia, rozwiązanie może pochodzić ze strony modelu lub ze strony krzemowej. Moje notatki dotyczące optymalizacji kosztów dla systemów LLM oraz na temat specjalistycznych chipów do inferencji LLM pokrywają każdą stronę tego kompromisu.

Dopasowywanie wzorców nie jest rozumieniem

LLM-y to dopasowywacze wzorców w skali, przewidywujący następny token na podstawie danych treningowych. Są w tym wybitne, jasne — ale nie rozumują i nie rozumieją relacji przyczynowych w świecie fizycznym. Jeśli chcesz AI, która potrafi planować, symulować lub prawdziwie dostosowywać się do nowych środowisk, przewidywanie tokenów Cię tam nie doprowadzi.

Modele stanów przestrzeni: liniowe skalowanie ze skompresowaną pamięcią

Modele stanów przestrzeni (SSM), takie jak Mamba i Gated DeltaNet, przyjmują zupełnie inne podejście do sekwencji. Zamiast uwzględniać wszystkie poprzednie tokeny, utrzymują skompresowany stan wewnętrzny, który podsumowuje historię — liniowe skalowanie O(n) zamiast kwadratowego, z stałą pamięcią na token przy inferencji, niezależnie od tego, jak długa staje się sekwencja.

Mechanizm stojący za tą efektywnością jest wart zrozumienia, ponieważ wyjaśnia zarówno szybkość, jak i kompromis. Klasyczne modele stanów przestrzeni (rodzina S4) były niezmienne w czasie: ta sama stała macierz przejścia była stosowana na każdym kroku, co jest szybkie, ale nie pozwala modelowi zdecydować, że jeden token jest ważniejszy niż inny. Wkład Mamba polegał na uczynieniu tych parametrów przejścia selektywnymi — funkcjami bieżącego wejścia — dzięki czemu model może dynamicznie wybrać, co zachować w swoim skompresowanym stanie, a co wyrzucić, podobnie jak softmax uwagi decyduje, co podkreślić, ale bez materializowania macierzy ocen O(n²). Aby utrzymać tę selektywną rekurencję w szybkości, Mamba wykonuje ją jako sprzętowy, równoległy skan: operacja łączna obliczana w SRAM GPU, a nie pętla token-po-tokenie, co jest tego samego rodzaju inżynierią niskopoziomowych kerneli, którą FlashAttention zrobił dla transformerów. Mamba-2 poszła o krok dalej z „dualnością stanów przestrzeni", pokazując, że selektywny SSM i ograniczona forma liniowej uwagi obliczają tę samą podstawową operację — pozwalając kernelom SSM na ponowne użycie sprzętu mnożenia macierzy, do którego GPU są zoptymalizowane.

Prawdziwym przełomem produkcyjnym tutaj był Gated DeltaNet, ulepszenie Mamba2, które wykorzystuje regułę delta dla lepszego radzenia sobie z długim kontekstem. Qwen3.5 adoptował go jako swoją podstawową architekturę w lutym 2026 roku i uzyskał silne wyniki w zadaniach agenticznych i benchmarkach kodowania, używając tylko 3 miliardów aktywnych parametrów w swojej hybrydowej konfiguracji MoE. To imponująca efektywność, a moje benchmarks llama.cpp Qwen 3.6 MTP vs standardowe dekodowanie na GPU 16 GB dają wyobrażenie o tym, jak modele Qwen zachowują się na sprzęcie konsumenckim.

Kompromis jest strukturalny, a nie tylko artefaktem treningu: ponieważ SSM kompresuje całą historię do stanu o stałym rozmiarze, może utracić szczegółowe detale, które transformery zachowują, utrzymując każdy przeszły token indywidualnie adresowalnym przez uwagę. Jeśli potrzebujesz dokładnego kopiowania lub cytowania, transformery nadal wygrywają. Dla większości praktycznych obciążeń — podsumowania, użycie narzędzi agenticznych, rozumowanie nad długimi dokumentami, gdzie esencja jest ważniejsza niż werbatimowe odwoływanie — zysk z efektywności jest tego wart.

Modele dyfuzyjne języka: wiele tokenów na przelot w przód

Modele dyfuzyjne języka stosują tę samą technikę, która przekształciła generowanie obrazów, do tekstu. Zamiast generować jeden token naraz, mogą produkować wiele tokenów równolegle podczas każdego przelotu w przód (forward pass).

Nemotron-Labs-Diffusion od NVIDIA, wydany w maju 2026 roku, osiągnął niemal 6x tokenów na przelot w przód w porównaniu z Qwen3-8B, utrzymując konkurencyjną dokładność w benchmarkach, w tym HumanEval, GSM8K i Math500. Jest to model trybowy, który unifikuje dekodowanie autoregresyjne, dyfuzyjne i samospekulacyjne. Gemini Diffusion od Google obiecuje jeszcze większe przyspieszenie.

Haczyk to jakość w porównaniu z szybkością. Modele autoregresyjne optymalizują lokalną spójność na każdym kroku — najbardziej prawdopodobny następny token. Modele dyfuzyjne optymalizują globalnie na całym wyjściu, co może poprawić ogólną strukturę, ale czasem ofiarowuje drobne detale. Dla pisarstwa kreatywnego lub burzy mózgów, dyfuzyjne mogą być lepsze. Dla precyzyjnego wyjścia technicznego, autoregresyjne nadal wygrywają.

Warto oddzielić to od sztuczek na etapie inferencji. Spekulacyjne dekodowanie już dostarcza kilka tokenów na przelot w przód, redagując i weryfikując, bez zmiany rozkładu wyjścia. Dyfuzja przenosi równoległe generowanie tokenów z warstwy inferencji do samej architektury modelu — jest to strukturalnie różne zagranie.

Modele świata i JEPA: przewidywanie znaczenia, nie tokenów

Modele świata, a konkretnie architektura JEPA Yanna LeCuna, przyjmują najbardziej radykalne podejście. Zamiast przewidywać następny token, przewidują następne osadzenie latence — skompresowane reprezentowanie tego, co powinno nadejść. To jest bliższe temu, jak działa ludzka kognicja: nie przewidujemy pojedynczych słów, przewidujemy znaczenie.

Różnica architektoniczna zarówno od transformerów, jak i modeli dyfuzyjnych to brak dekodera. Model generatywny — autoregresyjny lub dyfuzyjny — musi zrekonstruować swój cel w przestrzeni oryginalnej: dokładne piksele, dokładne tokeny. To zmusza model do wydawania pojemności na modelowanie nieprzewidywalnego szumu powierzchniowego: dokładne sformułowanie zdania, dokładna wartość piksela liścia na wietrze. Strata JEPA działa całkowicie wewnątrz przestrzeni wyuczonej reprezentacji, porównując przewidywane osadzenie z docelowym osadzeniem wyprodukowanym przez osobny, powoli aktualizowany enkoder. Nic nie jest dekodowane z powrotem do surowego wyjścia podczas treningu. To pozwala predyktorowi odrzucić szum i zachować tylko strukturalną, istotną dla zadania część sygnału — co jest również, nieprzypadkowo, tą częścią, która jest użyteczna dla planowania: agent może symulować „co się stanie, jeśli zrobię X", przewijając do przodu w przestrzeni latencji, bez ponoszenia kosztu renderowania pełnego obrazu lub generowania pełnego tekstu dla każdej hipotezy.

VL-JEPA osiągnął wydajność porównywalną z ugruntowanymi modelami językowo-wizualnymi przy użyciu tylko 1,6 miliarda parametrów, w porównaniu z 7 miliardami lub więcej u konkurencji. Zmniejsza operacje dekodowania o około 2,85x, jednocześnie poprawiając dokładność w odpowiadaniu na pytania wizualne. Co ważniejsze, architektury JEPA są zaprojektowane do uczenia ciągłego — budują wewnętrzne modele działania środowiska, a nie tylko wzorce statystyczne w tekście.

Ograniczeniem jest to, że JEPA wciąż dojrzewa dla czysto językowych zadań: LLM-JEPA istnieje, ale jeszcze nie dorównuje dużym modelom autoregresyjnym lub dyfuzyjnym w standardowych benchmarkach, i JEPA nie jest rozwiązaniem plug-and-play dla czatbota — to substrat uczenia reprezentacji i planowania, który uzupełnia modele językowe bardziej niż rywalizuje z nimi czołowo. Dla wciela AI i robotyki, jednak — gdzie rozumienie fizycznej przyczynowości jest ważniejsze niż generowanie płynnej prozy — JEPA może być właściwą architekturą od początku.

Co robią systemy produkcyjne: architektury hybrydowe

Najciekawsze rozwijają się, łącząc elementy z wielu architektur. Jamba od AI21 Labs przeplata warstwy uwagi transformerowej z warstwami stanów przestrzeni Mamba — uwaga dla zależności długiego zasięgu, SSM-y dla efektywnego przetwarzania lokalnego. Qwen3.5 łączy Gated DeltaNet z Mixture of Experts, aktywując tylko odpowiedni sieci ekspertów dla każdego wejścia. Dostawcy chmury już listują modele oparte na Mambie — Codestral Mamba od Mistral było pierwszym open-source’owym wydaniem Mamba-2 — a przegląd dostawców LLM w chmurze śledzi, co jest dostępne gdzie.

Różne zadania mają różne wymagania:

• Generowanie kodu może odnieść korzyści z równoległego generowania tokenów dyfuzją.
• Analiza długich dokumentów potrzebuje liniowego skalowania SSM.
• Pisanie kreatywne może wykorzystać uwagę transformerową dla spójności.

Pojedyncza architektura nie rozwiąże wszystkiego. Ta sama logika, która napędza projektowanie systemów wielomodelowych — właściwy mechanizm dla właściwego zadania — pojawia się teraz wewnątrz samych modeli.

Jeśli budujesz aplikacje AI i projektujesz pod 2027 lub 2028 rok, nie inwestuj nadmiernie w czyste rozwiązania transformerowe. Rozważ, czy komponenty SSM lub dyfuzyjne mogłyby lepiej służyć Twojemu przypadkowi użycia. Ekosystem się zmienia, a wczesni adopterzy będą mieli przewagę.

Warto śledzić dwie dalsze implikacje. Wydajność Qwen3.5 przy użyciu tylko 3 miliardów aktywnych parametrów sugeruje, że specjalistyczne, efektywne architekty będą przewyższać większe modele ogólnego przeznaczenia dla wielu zadań — co mogłoby demokratyzować wdrażanie AI i uczynić modele o wysokiej wydajności dostępnymi na sprzęcie konsumenckim. I modele dyfuzyjne języka mogłyby zmniejszyć opóźnienie o rząd wielkości dla określonych obciążeń; aplikacje wymagające odpowiedzi w czasie rzeczywistym — agenci konwersacyjni, tłumaczenie na żywo, interaktywne narzędzia — odniosą z tego największe korzyści.

Dokąd to zmierza: era post-transformerowa

Biorąc pod uwagę trzyletni cykl, oczekiwałbym pierwszych wdrożeń produkcyjnych architektur nietransformerowych do 2027–2028. Będą to prawdopodobnie systemy hybrydowe, które wykorzystują uwagę transformerową tam, gdzie to konieczne, ale używają SSM-ów lub dyfuzji dla zysków z efektywności.

Faza konsolidacji, w której się znajdujemy — gdzie laboratoria dowodzą, że LLM-y mogą rozumować i działać — ustępuje miejsca trudniejszemu wyzwaniu: uczynienie tych systemów efektywnymi, adaptacyjnymi i przestrzennie świadomymi. To wymaga przełomów w uczeniu ciągłym, modelach świata i efektywności architektonicznej. Każdy z nich adresuje fundamentalne ograniczenia, których czyste skalowanie nie może rozwiązać.

Następna wielka rzecz nie będą większe modele. Będą to mądrzejsze architekty, które osiągają więcej przy mniejszym — modele, które rozumieją, a nie tylko przewidują, które adaptują się, a nie tylko przetwarzają. To jest to, co przychodzi po LLM-ach. Nie jedna nowa architektura, lecz pokolenie specjalistycznych, efektywnych systemów, które w końcu przechodzą od dopasowywania wzorców do prawdziwego rozumienia.

Referencje

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf