O que vem depois dos LLMs? Mamba, Diffusion e Modelos de Mundo

O hype da IA segue um ritmo: aproximadamente a cada três anos, a arquitetura em que todos apostam é substituída por algo mais novo. A próxima transição já está se formando nos laboratórios de pesquisa.

O que se segue é um tour pelos candidatos mais fortes para substituir o transformer e pelas evidências de que a transição já está em andamento. O padrão se repete: uma arquitetura dominante, um limite pelo qual ela não consegue escalar e um novo design que contorna esse limite.

Este artigo percorre os quatro limites que se aproximam dos transformers, as três arquiteturas alternativas e o que os sistemas híbridos já em produção nos dizem. O objetivo é uma leitura prática para engenheiros decidindo o que projetar para 2027 e além — não um mercado de previsões, apenas as evidências como estão em 2026.

O padrão: o ciclo de três anos de avanços da IA

A cada poucos anos, o centro de gravidade da IA muda:

Os transformers surgiram por volta de 2017 e tornaram as RNNs e CNNs parecidas com relíquias. Modelos de difusão então assumiram a geração de imagens entre 2020 e 2022. E os LLMs explodiram em tudo a partir de 2022, com GPT-3 e ChatGPT.

Por esse padrão, devemos estar nos aproximando da próxima mudança. Ela já está acontecendo — apenas não no lugar que você esperaria. Não nas redes sociais ou em notas à imprensa, mas nos laboratórios de pesquisa.

Yann LeCun passou 2025 argumentando que LLMs autoregressivos são fundamentalmente limitados. “Precisamos de modelos de mundo, não de preditores de palavras”, ele disse em conferência após conferência. Enquanto isso, sua equipe publicou uma série de papers sobre Arquitetura Preditiva de Incorporação Conjunta (JEPA) — primeiro para imagens, depois vídeo, e então linguagem em setembro de 2025.

As evidências de apoio dos últimos doze meses são incomumente concretas:

• Modelos de espaço de estado como Mamba lidam com contextos de milhões de tokens com escalonamento linear — algo que transformers não conseguem fazer devido ao seu mecanismo de atenção quadrática.
• A Google anunciou o Gemini Diffusion, prometendo geração de texto até 10x mais rápida.
• A NVIDIA lançou o Nemotron 3 com camadas Mamba-2 embutidas.
• O Qwen3.5 da China foi ao ar usando Gated DeltaNets.
• Em dezembro de 2025, o VL-JEPA chegou — um modelo de visão-linguagem com metade dos parâmetros dos concorrentes que ainda assim teve desempenho melhor.

Por que os transformers estão esgotando o caminho

Transformers são incríveis no que fazem. Mas quatro problemas estão se aproximando que nenhuma quantidade de escalonamento pode corrigir.

A atenção quadrática falha em contexto longo

A autoatenção significa que cada token conversa com todos os outros tokens — complexidade O(n²). Dobre seu contexto e você quadruplica a computação. Em 10 milhões de tokens, a matemática simplesmente quebra. Você pode jogar mais GPUs nisso, mas está lutando contra a aritmética básica.

Os dados de treino estão acabando

LLMs treinam com texto da internet, e até 2026 a maior parte dele já foi raspada. Livros, Wikipedia, Reddit, GitHub — tudo consumido. Dados sintéticos parecem ser uma solução até você perceber que modelos treinados com texto gerado por IA se degradam ao longo das gerações: eles aprendem os artefatos e vieses do próprio processo de geração. As leis de escalonamento que impulsionaram tudo de 2020 a 2024 estão atingindo retornos decrescentes.

Energia e custo são o teto rígido

Modelos de fronteira agora custam dezenas ou centenas de milhões para treinar. Servir bilhões de solicitações diariamente consome computação massiva. Centros de dados de IA precisam de gigawatts de energia, e a capacidade de geração de energia está se tornando um gargalo. Sam Altman admitiu em 2024 que os custos de computação limitam tudo — e isso não mudou.

Se a restrição é energia, a resposta pode vir do lado do modelo ou do lado do silício. Minhas notas sobre otimização de custos para sistemas LLM e sobre chips de inferência LLM especializados cobrem cada lado dessa compensação.

Correspondência de padrões não é compreensão

LLMs são correspondedores de padrões em escala, prevendo o próximo token a partir dos dados de treino. Excepcionais nisso, sim — mas não raciocinam e não entendem relações causais no mundo físico. Se você quer IA que possa planejar, simular ou se adaptar genuinamente a novos ambientes, a predição de tokens não o levará lá.

Modelos de espaço de estado: escalonamento linear com memória comprimida

Modelos de espaço de estado (SSMs) como Mamba e Gated DeltaNet adotam uma abordagem completamente diferente para sequências. Em vez de prestar atenção a todos os tokens anteriores, eles mantêm um estado interno comprimido que resume o histórico — escalonamento linear O(n) em vez de quadrático, com memória constante por token na inferência, independentemente de quão longa a sequência fique.

O mecanismo por trás dessa eficiência vale a pena ser compreendido, pois explica tanto a velocidade quanto a compensação. Modelos clássicos de espaço de estado (a família S4) eram invariantes em relação ao tempo: a mesma matriz de transição fixa era aplicada a cada etapa, o que é rápido, mas não pode decidir que um token é mais importante do que outro. A contribuição do Mamba foi tornar esses parâmetros de transição seletivos — funções da entrada atual — para que o modelo possa escolher dinamicamente o que manter em seu estado comprimido e o que descartar, muito assim como o softmax da atenção decide o que enfatizar, mas sem materializar uma matriz de pontuação O(n²). Para manter essa recorrência seletiva rápida, o Mamba a executa como um paralelismo de varredura consciente do hardware: uma operação associativa calculada na SRAM da GPU, em vez de um loop token a token, o que é o mesmo tipo de engenharia de kernel de baixo nível que o FlashAttention fez para os transformers. O Mamba-2 levou isso ainda mais longe com a “dualidade de espaço de estado”, mostrando que um SSM seletivo e uma forma restrita de atenção linear calculam a mesma operação subjacente — permitindo que os kernels SSM reutilizem o hardware de multiplicação de matrizes para o qual as GPUs são otimizadas.

O verdadeiro avanço em produção aqui foi o Gated DeltaNet, uma melhoria sobre o Mamba2 que usa uma regra delta para um melhor tratamento de contexto longo. O Qwen3.5 o adotou como sua arquitetura central em fevereiro de 2026 e obteve resultados fortes em tarefas de agentes e benchmarks de codificação usando apenas 3 bilhões de parâmetros ativos em sua configuração híbrida MoE. Essa é uma eficiência impressionante, e meus benchmarks do llama.cpp do Qwen 3.6 MTP versus decodificação padrão em uma GPU de 16 GB dão uma ideia de como os modelos Qwen se comportam em hardware de consumo.

A compensação é estrutural, não apenas um artefato de treinamento: porque um SSM comprime todo o histórico em um estado de tamanho fixo, ele pode perder detalhes finos que os transformers preservam, mantendo cada token passado individualmente endereçável através da atenção. Se você precisar de cópia ou citação exata, os transformers ainda vencem. Para a maioria dos fluxos de trabalho práticos — resumir, uso de ferramentas agênticas, raciocínio em documentos longos onde a essência é mais importante do que a lembrança literal — o ganho de eficiência vale a pena.

Modelos de linguagem com difusão: muitos tokens por passada de frente

Modelos de linguagem com difusão aplicam a mesma técnica que transformou a geração de imagens para o texto. Em vez de gerar um token de cada vez, eles podem produzir múltiplos tokens em paralelo durante cada passada de frente.

O Nemotron-Labs-Diffusion da NVIDIA, lançado em maio de 2026, alcançou quase 6x tokens por passada de frente em comparação com o Qwen3-8B, mantendo precisão competitiva em benchmarks, incluindo HumanEval, GSM8K e Math500. É um modelo tri-modo que unifica decodificação autoregressiva, difusão e auto- especulação. O Gemini Diffusion da Google promete ainda mais aceleração.

A pegadinha é qualidade versus velocidade. Modelos autoregressivos otimizam a coerência local a cada etapa — o próximo token mais provável. Modelos de difusão otimizam globalmente em toda a saída, o que pode melhorar a estrutura geral, mas às vezes sacrifica detalhes finos. Para escrita criativa ou brainstorming, a difusão pode ser melhor. Para saída técnica precisa, o autoregressivo ainda vence.

Vale separar isso de truques de tempo de inferência. Decodificação especulativa já entrega vários tokens por passada de frente rascunhando e verificando, sem mudança na distribuição de saída. A difusão move a geração paralela de tokens da camada de inferência para a própria arquitetura do modelo — uma aposta estruturalmente diferente.

Modelos de mundo e JEPA: prever significado, não tokens

Modelos de mundo, especificamente a arquitetura JEPA de Yann LeCun, adotam a abordagem mais radical. Em vez de prever o próximo token, eles preveem a próxima incorporação latente — uma representação comprimida do que deveria vir a seguir. Isso é mais próximo de como a cognição humana funciona: não preveemos palavras individuais, preveemos significado.

A diferença arquitetural em relação a ambos, transformers e modelos de difusão, é o decodificador ausente. Um modelo generativo — autoregressivo ou difusão — tem que reconstruir seu alvo no espaço original: pixels exatos, tokens exatos. Isso força o modelo a gastar capacidade modelando ruído superficial imprevisível: a redação exata de uma frase, o valor exato do pixel de uma folha ao vento. A perda da JEPA opera inteiramente dentro de um espaço de representação aprendido, comparando uma incorporação prevista contra uma incorporação alvo produzida por um codificador separado, atualizado lentamente. Nada é decodificado de volta para a saída bruta durante o treinamento. Isso permite que o preditor descarte o ruído e mantenha apenas a parte estrutural e relevante para a tarefa do sinal — que também, não por coincidência, é a parte útil para o planejamento: um agente pode simular “o que acontece se eu fizer X” avançando no espaço latente, sem pagar o custo de renderizar uma imagem completa ou gerar texto completo para cada hipótese.

O VL-JEPA alcançou desempenho comparável a modelos estabelecidos de visão-linguagem com apenas 1,6 bilhão de parâmetros, versus 7 bilhões ou mais para os concorrentes. Ele reduz operações de decodificação em cerca de 2,85x, melhorando a precisão no questionamento visual. Mais importante, as arquiteturas JEPA são projetadas para aprendizado contínuo — elas constroem modelos internos de como o ambiente funciona, não apenas padrões estatísticos em texto.

A limitação é que a JEPA ainda está amadurecendo para tarefas puras de linguagem: a LLM-JEPA existe, mas ainda não corresponde aos grandes modelos autoregressivos ou de difusão nos benchmarks padrão, e a JEPA não é uma substituição direta para um chatbot — é um substrato de aprendizado de representação e planejamento que complementa modelos de linguagem mais do que compete com eles diretamente. Para IA incorporada e robótica, no entanto — onde entender a causalidade física é mais importante do que gerar prosa fluente — a JEPA pode ser a arquitetura certa desde o início.

O que os sistemas de produção estão fazendo: arquiteturas híbridas

Os desenvolvimentos mais interessantes combinam elementos de múltiplas arquiteturas. O Jamba da AI21 Labs alterna camadas de atenção do transformer com camadas de espaço de estado Mamba — atenção para dependências de longo alcance, SSMs para processamento local eficiente. O Qwen3.5 combina Gated DeltaNet com Mixture of Experts, ativando apenas as redes de especialistas relevantes para cada entrada. Provedores de nuvem já estão listando modelos baseados em Mamba — o Codestral Mamba da Mistral foi o primeiro lançamento open-source do Mamba-2 — e a visão geral dos provedores LLM em nuvem rastreia o que está disponível onde.

Tarefas diferentes têm requisitos diferentes:

• A geração de código pode se beneficiar da geração paralela de tokens da difusão.
• A análise de documentos longos precisa do escalonamento linear de um SSM.
• A escrita criativa poderia usar a atenção do transformer para coerência.

Uma única arquitetura não resolverá tudo. A mesma lógica que impulsiona o design de sistemas multi-modelo — o mecanismo certo para a tarefa certa — agora está aparecendo dentro dos próprios modelos.

Se você está construindo aplicações de IA e projetando para 2027 ou 2028, não invista excessivamente em soluções puras de transformer. Considere se componentes SSM ou de difusão podem servir melhor ao seu caso de uso. O ecossistema está mudando, e os primeiros adotantes terão uma vantagem.

Duas implicações adicionais valem a pena acompanhar. O desempenho do Qwen3.5 com apenas 3 bilhões de parâmetros ativos sugere que arquiteturas especializadas e eficientes superarão modelos gerais maiores para muitas tarefas — o que poderia democratizar o implantação de IA e tornar modelos de alto desempenho acessíveis em hardware de consumo. E modelos de linguagem com difusão poderiam reduzir a latência em uma ordem de grandeza para certos fluxos de trabalho; aplicações que exigem resposta em tempo real — agentes conversacionais, tradução ao vivo, ferramentas interativas — se beneficiarão mais.

Para onde isso está indo: a era pós-transformer

Seguindo o ciclo de três anos, eu esperaria os primeiros deploys de produção de arquiteturas não-transformer até 2027–2028. Esses provavelmente serão sistemas híbridos que aproveitam a atenção do transformer onde necessário, mas usam SSMs ou difusão para ganhos de eficiência.

A fase de consolidação em que estamos agora — onde os labs provam que LLMs podem raciocinar e agir — está dando lugar a um desafio mais difícil: tornar esses sistemas eficientes, adaptáveis e espacialmente conscientes. Isso exige avanços em aprendizado contínuo, modelos de mundo e eficiência arquitetural. Cada um aborda limitações fundamentais que o escalonamento puro não pode resolver.

A próxima grande coisa não será modelos maiores. Serão arquiteturas mais inteligentes que alcançam mais com menos — modelos que entendem, em vez de apenas prever, que se adaptam, em vez de apenas processar. É isso que vem depois dos LLMs. Não uma única nova arquitetura, mas uma geração de sistemas especializados e eficientes que finalmente saem da correspondência de padrões para uma compreensão genuína.

Referências

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf