Cosa arriva dopo gli LLM? Mamba, Diffusione e World Models

L’hype sull’IA segue un ritmo: all’incirca ogni tre anni, l’architettura su cui tutti scommettono viene sostituita da qualcosa di più recente. Il prossimo cambiamento è già in fase di formazione nei laboratori di ricerca.

Quanto segue è un tour dei candidati più forti a sostituire il transformer e delle prove che il cambiamento è già in atto. Il pattern si ripete: un’architettura dominante, un muro oltre il quale non può scalare e un nuovo design che aggira quel muro.

Questo articolo esamina i quattro limiti che stringono la rete intorno ai transformer, le tre architetture alternative e ciò che i sistemi ibridi già in produzione ci dicono. L’obiettivo è una lettura pratica per gli ingegneri che devono decidere cosa progettare per il 2027 e oltre — non un mercato delle previsioni, ma solo le prove così come stanno nel 2026.

Il pattern: il ciclo di tre anni delle grandi scoperte nell’IA

Ogni pochi anni il baricentro dell’IA si sposta:

I transformer sono arrivati intorno al 2017 e hanno reso RNN e CNN sembrare reliquie. I modelli di diffusione hanno poi preso il controllo della generazione di immagini tra il 2020 e il 2022. E gli LLM sono esplosi in tutto, a partire dal 2022 con GPT-3 e ChatGPT.

Secondo quel pattern, dovremmo essere in procinto di avvicinarci al prossimo cambiamento. Sta già accadendo — solo non dove te lo aspetteresti. Non sui social media o nei comunicati stampa, ma nei laboratori di ricerca.

Yann LeCun ha passato il 2025 a sostenere che gli LLM autoregressivi sono fondamentalmente limitati. “Ci servono world models, non predittori di parole”, ha detto in conferenza dopo conferenza. Nel frattempo, il suo team ha pubblicato una serie di paper sulla Joint Embedding Predictive Architecture (JEPA) — prima per le immagini, poi per il video, infine per il linguaggio nel settembre 2025.

Le prove a supporto degli ultimi dodici mesi sono insolitamente concrete:

• Gli state space models come Mamba gestiscono contesti di milioni di token con scalabilità lineare — qualcosa che i transformer non possono fare a causa del loro meccanismo di attenzione quadratica.
• Google ha annunciato Gemini Diffusion, promettendo una generazione di testo fino a 10 volte più veloce.
• NVIDIA ha rilasciato Nemotron 3 con layer Mamba-2 integrati.
• Qwen3.5 della Cina è andato online utilizzando Gated DeltaNets.
• Nel dicembre 2025, VL-JEPA ha fatto il suo debutto — un modello vision-language con la metà dei parametri dei suoi concorrenti che ha comunque performato meglio.

Perché i transformer stanno finendo la strada

I transformer sono incredibili in ciò che fanno. Ma quattro problemi stanno arrivando che nessuna quantità di scalabilità può risolvere.

L’attenzione quadratica si spezza con contesti lunghi

L’auto-attenzione significa che ogni token parla con ogni altro token — complessità O(n²). Se raddoppi il contesto, quadruplichi il calcolo. A 10 milioni di token, la matematica semplicemente si rompe. Puoi buttare più GPU, ma stai combattendo l’aritmetica di base.

I dati di addestramento stanno finendo

Gli LLM si addestrano su testo internet, e entro il 2026 la maggior parte di esso è già stata raschiata. Libri, Wikipedia, Reddit, GitHub — tutto consumato. I dati sintetici sembrano una soluzione finché non ti rendi conto che i modelli addestrati su testo generato dall’IA si degradano di generazione in generazione: imparano gli artefatti e i bias del processo di generazione stesso. Le leggi di scalabilità che hanno alimentato tutto dal 2020 al 2024 stanno incontrando rendimenti decrescenti.

Energia e costo sono il limite duro

I modelli di frontiera costano ora decine o centinaia di milioni da addestrare. Servire miliardi di richieste giornaliere consuma enormi risorse di calcolo. I data center per l’IA hanno bisogno di gigawatt di potenza, e la capacità di generazione di energia sta diventando un collo di bottiglia. Sam Altman ha ammesso nel 2024 che i costi di calcolo limitano tutto — e ciò non è cambiato.

Se il vincolo è l’energia, la risposta può venire dal lato del modello o dal lato del silicio. Le mie note su l’ottimizzazione dei costi per sistemi LLM e sulle chip specializzate per l’inferenza LLM coprono ciascuna parte di quel compromesso.

L’abbinamento di pattern non è comprensione

Gli LLM sono abbinatori di pattern su larga scala, che prevedono il prossimo token dai dati di addestramento. Ne sono eccezionalmente capaci, sì — ma non ragionano e non comprendono le relazioni causali nel mondo fisico. Se vuoi un’IA che possa pianificare, simulare o adattarsi genuinamente a nuovi ambienti, la previsione di token non ti porterà lì.

State space models: scalabilità lineare con una memoria compressa

Gli state space models (SSM) come Mamba e Gated DeltaNet adottano un approccio completamente diverso alle sequenze. Invece di prestare attenzione a tutti i token precedenti, mantengono uno stato interno compresso che riassuntoria la storia — scalabilità lineare O(n) invece di quadratica, con memoria costante per token all’inferenza, indipendentemente da quanto la sequenza si allunghi.

Il meccanismo alla base di quell’efficienza vale la pena di essere compreso, perché spiega sia la velocità sia il compromesso. Gli state space models classici (la famiglia S4) erano tempo-invarianti: la stessa matrice di transizione fissa applicata a ogni passo, il che è veloce ma non può decidere che un token conti più di un altro. Il contributo di Mamba è stato di rendere quei parametri di transizione selettivi — funzioni dell’input corrente — in modo che il modello possa scegliere dinamicamente cosa mantenere nel suo stato compresso e cosa scartare, molto come il softmax dell’attenzione decide cosa enfatizzare, ma senza materializzare una matrice di punteggi O(n²). Per mantenere quella ricorsione selettiva veloce, Mamba la esegue come uno scan parallelo consapevole dell’hardware: un’operazione associativa calcolata nella SRAM della GPU anziché in un loop token-per-token, che è lo stesso tipo di ingegneria di kernel a basso livello che FlashAttention ha fatto per i transformer. Mamba-2 ha spinto oltre con la “state space duality”, mostrando che un SSM selettivo e una forma ristretta di attenzione lineare calcolano la stessa operazione sottostante — permettendo ai kernel SSM di riutilizzare l’hardware di moltiplicazione di matrici per cui le GPU sono ottimizzate.

La vera svolta in produzione qui è stata Gated DeltaNet, un miglioramento di Mamba2 che utilizza una regola delta per una migliore gestione dei contesti lunghi. Qwen3.5 lo ha adottato come architettura principale nel febbraio 2026 e ha ottenuto risultati forti sui task agentici e sui benchmark di coding utilizzando solo 3 miliardi di parametri attivi nella sua configurazione ibrida MoE. È un’efficienza impressionante, e i miei benchmark di llama.cpp di Qwen 3.6 MTP rispetto al decodaggio standard su una GPU da 16 GB danno un’idea di come i modelli Qwen si comportino su hardware consumer.

Il compromesso è strutturale, non solo un artefatto di addestramento: poiché un SSM comprime l’intera storia in uno stato di dimensione fissa, può perdere dettagli sottili che i transformer preservano mantenendo ogni token passato individualmente indirizzabile attraverso l’attenzione. Se ti serve un copia-incolla esatto o una citazione, i transformer vincono ancora. Per la maggior parte dei workload pratici — riassunti, uso agentico di strumenti, ragionamento su documenti lunghi dove l’essenza conta più del ricordo verbatim — il guadagno in efficienza vale la pena.

Diffusion language models: molti token per singolo passaggio in avanti

I diffusion language models applicano la stessa tecnica che ha trasformato la generazione di immagini al testo. Invece di generare un token alla volta, possono produrre più token in parallelo durante ogni passaggio in avanti.

Nemotron-Labs-Diffusion di NVIDIA, rilasciato a maggio 2026, ha raggiunto quasi 6x token per singolo passaggio in avanti rispetto a Qwen3-8B mantenendo un’accuratezza competitiva su benchmark inclusi HumanEval, GSM8K e Math500. È un modello tri-modo che unifica decodifica autoregressiva, diffusione e auto-speculazione. La Gemini Diffusion di Google promette ancora più accelerazione.

L’incognita è qualità contro velocità. I modelli autoregressivi ottimizzano per la coerenza locale a ogni passo — il prossimo token più probabile. I modelli di diffusione ottimizzano globalmente sull’intera output, il che può migliorare la struttura complessiva ma a volte sacrifica il dettaglio sottile. Per scrittura creativa o brainstorming, la diffusione potrebbe essere meglio. Per output tecnici precisi, l’autoregressivo vince ancora.

Vale la pena separare questo dai trucchi di inferenza. La decodifica speculativa consegna già diversi token per passaggio in avanti tramite stesura e verifica, senza cambiamenti alla distribuzione dell’output. La diffusione sposta la generazione parallela di token dallo strato di inferenza nell’architettura del modello stesso — una scommessa strutturalmente diversa.

World models e JEPA: prevedere il significato, non i token

I world models, specificamente l’architettura JEPA di Yann LeCun, adottano l’approccio più radicale. Invece di prevedere il prossimo token, prevedono il prossimo embedding latente — una rappresentazione compressa di ciò che dovrebbe seguire. È più vicino a come funziona la cognizione umana: non prevediamo parole individuali, prevediamo il significato.

La differenza architetturale sia dai transformer sia dai modelli di diffusione è il decoder mancante. Un modello generativo — autoregressivo o a diffusione — deve ricostruire il suo target nello spazio originale: pixel esatti, token esatti. Questo costringe il modello a spendere capacità nel modellare rumore di superficie imprevedibile: la formulazione esatta di una frase, il valore esatto del pixel di una foglia al vento. La perdita di JEPA opera interamente all’interno di uno spazio di rappresentazione appreso, invece, confrontando un embedding previsto contro un embedding target prodotto da un encoder separato, aggiornato lentamente. Niente viene mai decodificato di nuovo in output grezzo durante l’addestramento. Questo permette al predittore di scartare il rumore e mantenere solo la parte strutturale, rilevante per il task, del segnale — che è anche, non a caso, la parte utile per la pianificazione: un agente può simulare “cosa succede se faccio X” avanzando in spazio latente, senza pagare il costo del rendering di un’immagine completa o della generazione di testo completo per ogni ipotesi.

VL-JEPA ha raggiunto prestazioni paragonabili a modelli vision-language consolidati con solo 1,6 miliardi di parametri contro i 7 miliardi o più dei concorrenti. Riduce le operazioni di decodifica di circa 2,85x migliorando l’accuratezza sulla risposta a domande visive. Più importante, le architetture JEPA sono progettate per l’apprendimento continuo — costruiscono modelli interni di come funziona l’ambiente, non solo pattern statistici nel testo.

Il limite è che JEPA è ancora in maturazione per task puramente linguistici: LLM-JEPA esiste ma non ha ancora eguagliato i grandi modelli autoregressivi o a diffusione sui benchmark standard, e JEPA non è una sostituzione plug-and-play per un chatbot — è un substrato di apprendimento delle rappresentazioni e pianificazione che completa i modelli linguistici più che competere con loro frontalmente. Per l’IA incarnata e la robotica, tuttavia — dove comprendere la causalità fisica conta più che generare prosa fluente — JEPA potrebbe essere l’architettura giusta fin dall’inizio.

Cosa stanno facendo i sistemi in produzione: architetture ibride

Gli sviluppi più interessanti combinano elementi da più architetture. Jamba di AI21 Labs alterna layer di attenzione transformer con layer di stato space Mamba — attenzione per dipendenze a lungo raggio, SSM per elaborazione locale efficiente. Qwen3.5 combina Gated DeltaNet con Mixture of Experts, attivando solo le reti di esperti rilevanti per ogni input. I provider cloud stanno già elencando modelli basati su Mamba — Codestral Mamba di Mistral è stato il primo rilascio open-source di Mamba-2 — e la panoramica dei provider LLM cloud traccia cosa è disponibile dove.

Task diversi hanno requisiti diversi:

• La generazione di codice potrebbe trarre beneficio dalla generazione parallela di token della diffusione.
• L’analisi di documenti lunghi ha bisogno della scalabilità lineare di un SSM.
• La scrittura creativa potrebbe usare l’attenzione transformer per la coerenza.

Un’unica architettura non risolverà tutto. La stessa logica che guida il design di sistemi multi-modello — il meccanismo giusto per il task giusto — sta ora apparendo all’interno dei modelli stessi.

Se stai costruendo applicazioni IA e progettando per il 2027 o il 2028, non investire eccessivamente in soluzioni puramente transformer. Considera se componenti SSM o diffusione potrebbero servire meglio il tuo caso d’uso. L’ecosistema si sta spostando, e i primi adottanti avranno un vantaggio.

Due ulteriori implicazioni meritano di essere monitorate. Le prestazioni di Qwen3.5 con solo 3 miliardi di parametri attivi suggeriscono che architetture specializzate ed efficienti supereranno i modelli generalisti più grandi per molti task — il che potrebbe democratizzare il deployment dell’IA e rendere i modelli ad alte prestazioni accessibili su hardware consumer. E i diffusion language models potrebbero ridurre la latenza di un ordine di grandezza per certi workload; le applicazioni che richiedono risposta in tempo reale — agenti conversazionali, traduzione live, strumenti interattivi — trarranno maggior beneficio.

Dove sta andando tutto: l’era post-transformer

Seguendo il ciclo triennale, mi aspetterei le prime implementazioni in produzione di architetture non-transformer entro il 2027–2028. Questi saranno probabilmente sistemi ibridi che sfrutteranno l’attenzione transformer dove necessario ma useranno SSM o diffusione per guadagni di efficienza.

La fase di consolidamento in cui ci troviamo ora — dove i laboratori dimostrano che gli LLM possono ragionare e agire — sta cedendo il passo a una sfida più difficile: rendere questi sistemi efficienti, adattabili e consapevoli dello spazio. Questo richiede scoperte nell’apprendimento continuo, nei world models e nell’efficienza architetturale. Ciascuno affronta limiti fondamentali che la pura scalabilità non può risolvere.

La prossima grande cosa non saranno modelli più grandi. Saranno architetture più intelligenti che ottengono di più con meno — modelli che comprendono piuttosto che solo prevedere, che si adattano piuttosto che solo elaborare. È ciò che viene dopo gli LLM. Non una singola nuova architettura, ma una generazione di sistemi specializzati ed efficienti che finalmente si spostano oltre l’abbinamento di pattern verso una genuina comprensione.

Riferimenti

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf