Was kommt nach LLMs? Mamba, Diffusion und World Models

Der KI-Hype folgt einem Rhythmus: In etwa dreijährigen Abständen wird die Architektur, auf die alle wetten, durch etwas Neues ersetzt. Der nächste Wandel formiert sich bereits in Forschungslaboren.

Im Folgenden findet sich eine Tour durch die aussichtsreichsten Kandidaten, die den Transformer ersetzen könnten, sowie die Belege dafür, dass dieser Wandel bereits im Gange ist. Das Muster wiederholt sich: eine dominante Architektur, eine Wand, die sie nicht überwinden kann, und ein neues Design, das diesen Weg umgeht.

Dieser Artikel beleuchtet die vier Einschränkungen, die den Transformers immer enger um die Ohren schlagen, die drei alternativen Architekturen und was die hybriden Systeme, die bereits im Einsatz sind, uns verraten. Das Ziel ist ein praxisnaher Einblick für Ingenieure, die Architekturentscheidungen für 2027 und darüber hinaus treffen müssen – kein Prognosemarkt, sondern nur die Belege, wie sie im Jahr 2026 dastehen.

Das Muster: Der dreijährige Durchbruchzyklus der KI

Alle paar Jahre verschiebt sich das Schwergewicht der KI:

Transformers tauchten um 2017 auf und ließen RNNs und CNNs wie Relikte aussehen. Diffusionsmodelle übernahmen zwischen 2020 und 2022 die Bildgenerierung. Und LLMs explodierten ab 2022 mit GPT-3 und ChatGPT in alle Bereiche hinein.

Nach diesem Muster sollten wir uns dem nächsten Wandel nähern. Er ist bereits im Gange – nur nicht dort, wo man es erwarten würde. Nicht in sozialen Medien oder Pressemitteilungen, sondern in Forschungslaboren.

Yann LeCun verbrachte 2025 damit, zu argumentieren, dass autoregressive LLMs grundsätzlich begrenzt sind. „Wir brauchen Weltmodelle, keine Wortvorhersager“, sagte er auf Konferenz um Konferenz. Inzwischen hat sein Team eine Reihe von papers zur Joint Embedding Predictive Architecture (JEPA) veröffentlicht – zuerst für Bilder, dann Video und im September 2025 für Sprache.

Die unterstützenden Belege aus den letzten zwölf Monaten sind ungewöhnlich konkret:

• State Space Models wie Mamba verarbeiten Kontexte von Millionen Tokens mit linearer Skalierung – etwas, das Transformer aufgrund ihres quadratischen Aufmerksamkeitsmechanismus nicht können.
• Google kündigte Gemini Diffusion an und verspricht Textgenerierung, die bis zu 10x schneller ist.
• NVIDIA brachte Nemotron 3 mit eingebauten Mamba-2-Schichten heraus.
• Chinas Qwen3.5 ging live und verwendet Gated DeltaNets.
• Im Dezember 2025 landete VL-JEPA – ein Vision-Language-Modell mit der Hälfte der Parameter seiner Mitbewerber, das dennoch besser abschneidet.

Warum die Transformers am Ende des Weges sind

Transformer sind unglaublich gut in dem, was sie tun. Aber vier Probleme rücken näher, die keine Menge an Skalierung beheben kann.

Quadratische Aufmerksamkeit scheitert bei langem Kontext

Selbst-Attention bedeutet, dass jedes Token mit jedem anderen Token spricht – Komplexität O(n²). Verdoppeln Sie Ihren Kontext, und Sie vervierfachen die Berechnung. Bei 10 Millionen Tokens bricht die Mathematik einfach zusammen. Man kann mehr GPUs dafür aufwenden, aber man kämpft gegen elementare Arithmetik an.

Die Trainingsdaten gehen aus

LLMs werden auf Internettext trainiert, und bis 2026 wurde der Großteil davon bereits erfasst. Bücher, Wikipedia, Reddit, GitHub – alles konsumiert. Synthetische Daten klingen wie eine Lösung, bis man realisiert, dass Modelle, die mit KI-generiertem Text trainiert werden, über Generationen hinweg abnehmen: Sie lernen die Artefakte und Verzerrungen des Generierungsprozesses selbst. Die Skalierungsgesetze, die von 2020 bis 2024 alles angetrieben haben, stoßen auf abnehmende Erträge.

Energie und Kosten sind die harte Grenze

Frontier-Modelle kosten jetzt Dutzende oder Hunderte Millionen, um trainiert zu werden. Die Bereitstellung von Milliarden von Anfragen täglich verschwendet enorme Rechenleistung. KI-Rechenzentren brauchen Gigawatt an Leistung, und die Erzeugungskapazität wird zur Flaschenhals. Sam Altman gab 2024 zu, dass Rechenkosten alles begrenzen – und daran hat sich nichts geändert.

Wenn die Einschränkung die Energie ist, kann die Antwort von der Modellseite oder der Siliziumseite kommen. Meine Notizen zur Kostenoptimierung für LLM-Systeme und zu spezialisierten LLM-Inferenz-Chips decken beide Seiten dieses Trade-offs ab.

Mustererkennung ist kein Verständnis

LLMs sind Mustererkennungen im großen Maßstab, die das nächste Token aus Trainingsdaten vorhersagen. Daraus sind sie hervorragend – aber sie schließen nicht logisch und verstehen keine kausalen Zusammenhänge in der physischen Welt. Wenn Sie KI wollen, die planen, simulieren oder sich wirklich an neue Umgebungen anpassen kann, bringt Sie Token-Vorhersage nicht dorthin.

State Space Models: Lineare Skalierung mit komprimiertem Speicher

State Space Models (SSMs) wie Mamba und Gated DeltaNet gehen einen völlig anderen Weg bei Sequenzen. Anstatt auf alle vorherigen Tokens zu achten, halten sie einen komprimierten internen Zustand, der die Geschichte zusammenfasst – lineare O(n)-Skalierung statt quadratischer, mit konstantem Speicher pro Token bei der Inferenz, unabhängig davon, wie lang die Sequenz wird.

Der Mechanismus hinter dieser Effizienz lohnt sich zu verstehen, weil er sowohl die Geschwindigkeit als auch den Trade-off erklärt. Klassische State Space Models (die S4-Familie) waren zeitinvariant: dieselbe feste Übergangsmatrix wurde bei jedem Schritt angewendet, was schnell ist, aber nicht entscheiden kann, dass ein Token wichtiger ist als ein anderes. Mambas Beitrag bestand darin, diese Übergangsparameter selektiv zu machen – Funktionen des aktuellen Eingabewerts –, sodass das Modell dynamisch wählen kann, was in seinem komprimierten Zustand behalten und was verworfen wird, ähnlich wie Softmax in der Attention entscheidet, was betont werden soll, aber ohne eine O(n²)-Skorer-Matrix zu materialisieren. Um diese selektive Rekursion schnell zu halten, führt Mamba sie als hardwarebewusste parallele Scan durch: eine assoziative Operation, die in GPU-SRAM berechnet wird, anstatt einer Token-für-Token-Schleife, was dieselbe Art von Low-Level-Kernel-Engineering ist, das FlashAttention für Transformer leistete. Mamba-2 ging weiter mit „state space duality“ und zeigte, dass ein selektives SSM und eine eingeschränkte Form der linearen Attention dieselbe zugrunde liegende Operation berechnen – was SSM-Kernels erlaubt, die Matrix-Multiplikations-Hardware wiederzuverwenden, für die GPUs optimiert sind.

Der eigentliche Durchbruch in der Produktion war hier Gated DeltaNet, eine Verbesserung von Mamba2, die eine Delta-Regel für bessere Langkontext-Verarbeitung verwendet. Qwen3.5 nahm es im Februar 2026 als seine Kerearchitektur an und erzielte starke Ergebnisse bei Agentenaufgaben und Coding-Benchmarks, wobei es in seiner hybriden MoE-Konfiguration nur 3 Milliarden aktive Parameter einsetzte. Das ist beeindruckende Effizienz, und meine llama.cpp-Benchmarks von Qwen 3.6 MTP gegenüber Standard-Decoding auf einer 16-GB-GPU geben ein Gefühl dafür, wie Qwen-Modelle auf Consumer-Hardware funktionieren.

Der Trade-off ist strukturell und kein reines Trainingsartefakt: Da ein SSM die gesamte Geschichte in einen fest großen Zustand komprimiert, kann es feingranulare Details verlieren, die Transformer durch das Beibehalten jedes einzelnen vorherigen Tokens adressierbar per Attention erhalten. Wenn Sie exaktes Kopieren oder Zitieren benötigen, gewinnen noch die Transformer. Für die meisten praktischen Workloads – Zusammenfassung, agentische Tool-Nutzung, Langdokument-Raisonnement, in dem der Tenor wichtiger ist als die wörtliche Wiedergabe – ist der Effizienzgewinn es wert.

Diffusionssprachmodelle: Viele Tokens pro Vorwärtspass

Diffusionssprachmodelle wenden dieselbe Technik auf Text an, die die Bildgenerierung transformierte. Anstatt ein Token nach dem anderen zu generieren, können sie mehrere Tokens parallel während jedes Vorwärtspasses erzeugen.

NVIDIAs Nemotron-Labs-Diffusion, im Mai 2026 veröffentlicht, erzielte fast 6x Tokens pro Vorwärtspass im Vergleich zu Qwen3-8B bei gleichbleibend wettbewerbsfähiger Genauigkeit über Benchmarks wie HumanEval, GSM8K und Math500. Es ist ein Tri-Mode-Modell, das autoregressive, Diffusion und Self-Speculation-Decoding vereint. Googles Gemini Diffusion verspricht noch mehr Geschwindigkeit.

Der Haken ist Qualität versus Geschwindigkeit. Autoregressive Modelle optimieren die lokale Kohärenz bei jedem Schritt – das wahrscheinlichste nächste Token. Diffusionsmodelle optimieren global über den gesamten Output, was die Gesamtstruktur verbessern kann, aber manchmal feingranulare Details opfert. Für kreatives Schreiben oder Brainstorming könnte Diffusion besser sein. Für präzise technische Outputs gewinnen noch die autoregressiven Modelle.

Es lohnt sich, dies von Inferenz-Zeit-Tricks zu trennen. Spekulatives Decoding liefert bereits mehrere Tokens pro Vorwärtspass durch Entwurf und Verifizierung, ohne die Output-Verteilung zu verändern. Diffusion verschiebt die parallele Tokengenerierung von der Inferenzschicht in die Modellarchitektur selbst – eine strukturell andere Wette.

Weltmodelle und JEPA: Bedeutung vorhersagen, nicht Tokens

Weltmodelle, speziell Yann LeCuns JEPA-Architektur, gehen den radikalsten Weg. Anstatt das nächste Token vorherzusagen, sagen sie die nächste latente Embedding vorher – eine komprimierte Darstellung dessen, was als Nächstes kommen sollte. Das kommt der menschlichen Kognition näher: Wir sagen einzelne Wörter nicht vorher, wir sagen Bedeutung vorher.

Der architektonische Unterschied sowohl zu Transforms als auch zu Diffusionsmodellen ist der fehlende Decoder. Ein generatives Modell – autoregressiv oder Diffusion – muss sein Ziel im Originalraum rekonstruieren: exakte Pixel, exakte Tokens. Das zwingt das Modell, Kapazität darauf zu verwenden, unvorhersehbaren Oberflächenlärm zu modellieren: die exakte Formulierung eines Satzes, den exakten Pixelwert eines Blattes im Wind. JEPA’s Verlustfunktion arbeitet dagegen vollständig innerhalb eines gelernten Repräsentationsraums, wobei sie ein vorhergesagtes Embedding mit einem Ziel-Embedding vergleicht, das von einem separaten, langsam aktualisierten Encoder produziert wird. Während des Trainings wird nichts zurück in den Rohoutput dekodiert. Das erlaubt dem Prädiktor, den Lärm zu verwerfen und nur den strukturellen, aufgabenrelevanten Teil des Signals beizubehalten – was auch nicht zufällig der Teil ist, der für Planung nützlich ist: Ein Agent kann „was passiert, wenn ich X tue“ simulieren, indem er in den Latenzraum vorwärts rollt, ohne die Kosten zu tragen, ein vollständiges Bild zu rendern oder vollständigen Text für jede Hypothese zu generieren.

VL-JEPA erzielte eine Leistung, die vergleichbar ist mit etablierten Vision-Language-Modellen, mit nur 1,6 Milliarden Parametern gegenüber 7 Milliarden oder mehr bei Mitbewerbern. Es reduziert Dekodieroperationen um etwa 2,85x, während es die Genauigkeit bei visuellen Frage-Antwort-Aufgaben verbessert. Noch wichtiger ist, dass JEPA-Architekturen für kontinuierliches Lernen konzipiert sind – sie bauen interne Modelle davon auf, wie die Umgebung funktioniert, nicht nur statistische Muster im Text.

Die Einschränkung ist, dass JEPA für reine Sprachaufgaben noch reift: LLM-JEPA existiert, hat aber die großen autoregressiven oder Diffusionsmodelle auf Standard-Benchmarks noch nicht eingeholt, und JEPA ist kein Drop-in-Ersatz für einen Chatbot – es ist ein Substrat für Repräsentationslernen und Planung, das Sprachmodelle eher ergänzt als ihnen frontal konkurriert. Für Embodied AI und Robotik jedoch – wo das Verständnis physischer Kausalität wichtiger ist als flüssige Prosa – könnte JEPA von Anfang an die richtige Architektur sein.

Was Produktionssysteme tun: Hybride Architekturen

Die interessantesten Entwicklungen kombinieren Elemente aus mehreren Architekturen. AI21 Labs’ Jamba webt Transformer-Attention-Schichten mit Mamba-State-Space-Schichten abwechselnd ein – Attention für Langstreckabhängigkeiten, SSMs für effiziente lokale Verarbeitung. Qwen3.5 kombiniert Gated DeltaNet mit Mixture of Experts und aktiviert nur die relevanten Experten-Netzwerke für jede Eingabe. Cloud-Anbieter listen bereits Mamba-basierte Modelle – Mistrals Codestral Mamba war die erste Open-Source-Mamba-2-Veröffentlichung – und der Überblick zu Cloud-LLM-Anbietern verfolgt, was wo verfügbar ist.

Verschiedene Aufgaben haben verschiedene Anforderungen:

• Codegenerierung könnte von der parallelen Tokengenerierung von Diffusion profitieren.
• Langdokumentenanalyse benötigt die lineare Skalierung eines SSM.
• Kreatives Schreiben könnte Transformer-Attention für Kohärenz nutzen.

Eine einzelne Architektur wird nicht alles lösen. Dieselbe Logik, die das Design mehrmodellicher Systeme antreibt – der richtige Mechanismus für die richtige Aufgabe – taucht nun innerhalb der Modelle selbst auf.

Wenn Sie KI-Anwendungen bauen und für 2027 oder 2028 architektonisch planen, investieren Sie nicht übermäßig in reine Transformer-Lösungen. Bedenken Sie, ob SSM- oder Diffusionskomponenten Ihren Anwendungsfall besser bedienen könnten. Das Ökosystem verschiebt sich, und Früh adoptierende werden einen Vorteil haben.

Zwei weitere Implikationen sind es wert, verfolgt zu werden. Qwen3.5’s Leistung mit nur 3 Milliarden aktiven Parametern legt nahe, dass spezialisierte, effiziente Architekturen für viele Aufgaben größere Allzweckmodelle übertreffen werden – was die KI-Implementierung demokratisieren und hochleistungsstarke Modelle auf Consumer-Hardware zugänglich machen könnte. Und Diffusionssprachmodelle könnten die Latenz für bestimmte Workloads um eine Größenordnung reduzieren; Anwendungen, die Echtzeitantworten erfordern – konversationelle Agenten, Live-Übersetzung, interaktive Tools – werden am meisten profitieren.

Wohin das alles geht: Die Post-Transformer-Ära

Folge dem dreijährigen Zyklus, würde ich die ersten produktiven Implementierungen von nicht-Transformer-Architekturen bis 2027–2028 erwarten. Diese werden wahrscheinlich hybride Systeme sein, die Transformer-Attention dort nutzen, wo es nötig ist, aber SSMs oder Diffusion für Effizienzgewinne einsetzen.

Die Konsolidierungsphase, in der wir uns jetzt befinden – in der Labore beweisen, dass LLMs schlussfolgern und handeln können – weicht einer härteren Herausforderung: diese Systeme effizient, anpassungsfähig und räumlich bewusst zu machen. Das erfordert Durchbrüche im kontinuierlichen Lernen, in Weltmodellen und in architektonischer Effizienz. Jede adressiert grundlegende Einschränkungen, die reine Skalierung nicht lösen kann.

Das nächste große Ding werden keine größeren Modelle sein. Es werden klügere Architekturen sein, die mehr mit weniger erreichen – Modelle, die verstehen und nicht nur vorhersagen, die sich anpassen und nicht nur verarbeiten. Das ist es, was nach den LLMs kommt. Nicht eine einzelne neue Architektur, sondern eine Generation von spezialisierten, effizienten Systemen, die endlich über die Mustererkennung hinausgehen zu echtem Verständnis.

Referenzen

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, Mai 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” 20. Mai 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” Februar 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, März 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” 26. August 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf