LLM 이후의 과제: Mamba, 디퓨전, 그리고 월드 모델

AI 열풍에는 일정한 리듬이 있다: 대략 3년마다, 모두가 베팅하고 있는 아키텍처가 더 새로운 것으로 대체된다. 다음 전환은 이미 연구실에서 형성되고 있다.

이제부터는 트랜스포머를 대체할 가장 강력한 후보들과, 그 전환이 이미 진행 중임을 보여주는 증거를 살펴본다. 이 패턴은 반복된다: 지배적인 아키텍처, 그 넘을 수 없는 한계(벽), 그리고 그 벽을 우회하는 새로운 설계.

이 글은 트랜스포머를 압박해 들어오는 네 가지 한계, 세 가지 대체 아키텍처, 그리고 이미 프로덕션에서 사용 중인 하이브리드 시스템이 우리에게 시사하는 바를 다룬다. 목표는 2027년과 그 이후를 위해 아키텍처를 결정해야 하는 엔지니어들을 위한 실용적인 분석이다. 예측 시장이 아닌, 2026년 시점에서 현재까지 쌓인 증거들을 그대로 제시하는 것이다.

패턴: AI의 3년 주기 돌파 사이클

몇 년마다 AI의 무게중심이 이동한다:

트랜스포머는 2017년경 등장하여 RNN과 CNN이 과거 유물로 보이게 만들었다. 이후 2020년부터 2022년까지 디퓨전 모델이 이미지 생성을 장악했다. 그리고 2022년 GPT-3와 ChatGPT를 시작으로 LLM이 모든 분야로 확산되었다.

이 패턴에 따르면, 우리는 다음 전환기에 다가서고 있다. 이미 일어난 일이다 — 다만 예상하지 못한 곳에서. 소셜 미디어나 보도자료가 아니라, 연구실에서.

Yann LeCun은 2025년 내내 오토레거시 LLM이 근본적으로 한계가 있다고 주장해 왔다. “우리는 단어 예측자가 아니라 월드 모델이 필요하다"며 회의마다 이 말을 반복했다. 한편 그의 팀은 결합 임베딩 예측 아키텍처(JEPA)에 대한 논문 일련의 발표를 진행했다 — 처음에는 이미지, 그다음 영상, 그리고 2025년 9월에는 언어에 대해.

지난 12개월 동안의 보조 증거는 이례적으로 구체적이다:

• Mamba와 같은 상태 공간 모델(SSM)은 선형 스케일링으로 백만 토큰 컨텍스트를 처리한다 — 이는 이차방정식적 주의를 사용하는 트랜스포머가 할 수 없는 일이다.
• Google은 Gemini Diffusion을 발표하며 최대 10배 빠른 텍스트 생성을 약속했다.
• NVIDIA는 Mamba-2 레이어를 내장한 Nemotron 3을 출시했다.
• 중국의 Qwen3.5는 Gated DeltaNets를 사용하여 서비스 개시했다.
• 2025년 12월, VL-JEPA가 등장했다 — 경쟁 제품 대비 절반의 매개변수를 가졌음에도 더 나은 성능을 보여준 비전-언어 모델이다.

왜 트랜스포머가 한계에 도달하고 있는가

트랜스포머가 하는 일은 놀랍다. 하지만 어떤 스케일링으로도 해결할 수 없는 네 가지 문제가 다가오고 있다.

이차방정식적 주의(Quadratic Attention)는 긴 컨텍스트에서 붕괴한다

셀프-어텐션(Self-attention)이란 모든 토큰이 모든 다른 토큰과 상호작용한다는 뜻으로 — O(n²) 복잡도를 가진다. 컨텍스트를 두 배로 늘리면 계산량이 네 배가 된다. 1,000만 토큰에 이르면 수학적 한계에 도달한다. 더 많은 GPU를 투입할 수 있지만, 이는 기초 산술과 싸우는 것이나 다름없다.

학습 데이터가 소진되고 있다

LLM은 인터넷 텍스트로 학습하며, 2026년까지 대부분의 데이터가 수집된 상태이다. 책, Wikipedia, Reddit, GitHub — 모두 소비되었다. 합성 데이터(Synthetic data)는 해결책처럼 들리지만, AI가 생성한 텍스트로 학습한 모델은 세대마다 열화(degrade)된다는 사실을 깨닫게 되면 이야기가 달라진다: 그들은 생성 과정 자체의 아티팩트와 편향을 학습하기 때문이다. 2020년에서 2024년 사이 모든 것을 움직이던 스케일링 법칙은 수익 감소(diminishing returns)에 직면해 있다.

에너지와 비용이 단단한 상한선이다

프런티어 모델을 훈련하는 데는 이제 수천만에서 수억 달러가 든다. 매일 수십억 개의 요청을 처리하면 막대한 컴퓨팅 자원이 소모된다. AI 데이터 센터는 기가와트级的 전력이 필요하며, 발전 용량이 병목이 되고 있다. Sam Altman은 2024년에 컴퓨팅 비용이 모든 것을 제한한다고 인정했고 — 그 점은 변하지 않았다.

제약 조건이 에너지라면, 답은 모델 측 또는 실리콘 측에서 나올 수 있다. LLM 시스템 비용 최적화 및 전용 LLM 추론 칩에 대한 내 노트는 그 트레이드오프의 양 측면을 다루고 있다.

패턴 매칭은 이해가 아니다

LLM은 대규모의 패턴 매처로서, 학습 데이터로부터 다음 토큰을 예측한다. 그 점에서 뛰어난 것은 맞지만 — 추론(reasoning)은 아니고, 물리적 세계의 인과 관계를 이해하는 것도 아니다. 계획 수립, 시뮬레이션, 또는 새로운 환경에 진정으로 적응할 수 있는 AI를 원한다면, 토큰 예측만으로는 도달할 수 없다.

상태 공간 모델: 압축된 메모리를 갖춘 선형 스케일링

Mamba와 Gated DeltaNet과 같은 상태 공간 모델(SSM)은 시퀀스에 완전히 다른 접근을 취한다. 이전의 모든 토큰에 주의를 기울이는 대신, 과거를 요약하는 압축된 내부 상태를 유지한다 — 이차방정식적 복잡도 대신 선형 O(n) 스케일링이며, 시퀀스가 아무리 길어지더라도 추론 시 토큰당 메모리는 일정하다.

그 효율성의 메커니즘을 이해하는 것은 속도와 트레이드오프의 양쪽을 설명하기 때문에 가치가 있다. 고전적인 상태 공간 모델(S4 계열)은 시불변(time-invariant)이었다: 모든 단계에서 동일한 고정 전이 행렬이 적용되었으므로 빠르지만, 어떤 토큰이 다른 토큰보다 더 중요하다고 판단할 수 없었다. Mamba의 기여는 이러한 전이 매개변수를 선택적(selective) — 즉 현재 입력의 함수 — 으로 만드는 것이었다. 이를 통해 모델은 압축된 상태에 무엇을 유지하고 무엇을 폐기할지 동적으로 결정할 수 있게 되었으며, 이는 어텐션의 softmax가 무엇을 강조할지 결정하는 것과 유사하지만 O(n²) 스코어 행렬을 실체화(materialize)하지 않는다. 이 선택적 재귀(recurrence)를 빠르도록 유지하기 위해, Mamba는 이를 하드웨어 인식형 병렬 스캔(parallel scan)으로 실행한다: 토큰별 루프가 아니라 GPU SRAM에서 계산되는 연산자(associative operation)로서, 이는 FlashAttention이 트랜스포머를 위해 수행한 종류의 저레벨 커널 엔지니어링과 동일하다. Mamba-2는 “상태 공간 쌍대성(state space duality)“을 통해 이 한계를 더 넓혔는데, 선택적 SSM과 제한된 형태의 선형 어텐션이 동일한 기본 연산을 계산함을 보여줌으로써, SSM 커널이 GPU가 최적화된 행렬 곱셈 하드웨어를 재사용할 수 있게 만들었다.

이 분야의 진정한 프로덕션 돌파구는 Gated DeltaNet으로, 더 나은 긴 컨텍스트 처리를 위해 델타 규칙(delta rule)을 사용하는 Mamba2의 개선형이다. Qwen3.5는 2026년 2월 이를 핵심 아키텍처로 채택하여, 하이브리드 MoE 구성에서 활성 매개변수 30억 개만 사용하여 에이전트 작업과 코딩 벤치마크에서 강력한 결과를 거두었다. 이는 인상적인 효율성이며, 16 GB GPU에서 llama.cpp benchmarks of Qwen 3.6 MTP versus standard decoding(https://www.glukhov.org/ko/llm-performance/benchmarks/comparing-qwen-3-6-mtp-vs-standard/ “Qwen 3.6 MTP vs standard decoding on a 16GB GPU: token speed, VRAM cost, settings”)를 통해 Qwen 모델이 컨슈머 하드웨어에서 어떻게 동작하는지 체감할 수 있다.

트레이드오프는 구조적이며 단순한 학습 아티팩트가 아니다: SSM은 전체 역사를 고정된 크기의 상태로 압축하므로, 어텐션을 통해 모든 과거 토큰을 개별적으로 접근 가능하게 유지하면서 세부 정보를 보존하는 트랜스포머에 비해 세밀한 디테일을 잃을 수 있다. 정확한 복사나 인용이 필요하다면, 트랜스포머가 여전히 우월하다. 그러나 대부분의 실용적인 워크로드 — 요약, 에이전틱 툴 사용, 대략적인 이해가 직역(recall)보다 중요한 긴 문서 추론 — 에서는 효율성 이득이 그만한 가치가 있다.

디퓨전 언어 모델: 정방향 패스당 다수의 토큰

디퓨전 언어 모델은 이미지 생성을 혁명적으로 바꾼 동일한 기술을 텍스트에 적용한다. 토큰을 하나씩 생성하는 대신, 각 정방향 패스(forward pass) 동안 병렬로 여러 토큰을 생성할 수 있다.

2026년 5월 출시된 NVIDIA의 Nemotron-Labs-Diffusion은 HumanEval, GSM8K, Math500을 비롯한 벤치마크에서 경쟁력 있는 정확도를 유지하면서 Qwen3-8B 대비 거의 6배의 토큰당 정방향 패스 효율을 달성했다. 이는 오토레거시, 디퓨전, 셀프-예측(self-speculation) 디코딩을 통합한 삼중 모드(tri-mode) 모델이다. Google의 Gemini Diffusion은 더 큰 속도 향상을 약속한다.

그 함정(캐치)은 품질과 속도 사이의 관계이다. 오토레거시 모델은 각 단계에서 로컬 일관성을 최적화한다 — 가장 가능성 높은 다음 토큰. 디퓨전 모델은 전체 출력에 대해 전역적으로 최적화하며, 이는 전반적인 구조를 개선할 수 있지만 때로는 세밀한 디테일을 희생시킨다. 창작 글쓰기나 브레인스토밍에는 디퓨전이 더 나을 수 있다. 그러나 정밀한 기술적 출력에는 오토레거시가 여전히 우세하다.

이는 추론 시점의 트릭과 구분할 가치가 있다. Speculative decoding은 이미 드래프트와 검증을 통해 정방향 패스당 여러 토큰을 제공하며, 출력 분포에 변화를 주지 않는다. 디퓨전은 병렬 토큰 생성을 추론 레이어에서 모델 아키텍처 자체로 이동시킨다 — 구조적으로 다른 베팅이다.

월드 모델과 JEPA: 의미를 예측, 토큰이 아닌

월드 모델, 특히 Yann LeCun의 JEPA 아키텍처는 가장 급진적인 접근을 취한다. 다음 토큰을 예측하는 대신, 다음 잠재 임베딩(next latent embedding) — 즉, 다음에 오어야 할 것의 압축된 표현 — 을 예측한다. 이는 인간의 인지 방식에 더 가깝다: 우리는 개별 단어를 예측하는 것이 아니라, 의미를 예측한다.

트랜스포머와 디퓨전 모델 모두와 아키텍처적 차이는 디코더의 부재이다. 생성 모델(오토레거시 또는 디퓨전)은 원래 공간에서 목표를 재구성해야 한다: 정확한 픽셀, 정확한 토큰. 이는 모델이 예측 불가능한 표면 노이즈를 모델링하는 데 용량을 쓰도록 강요한다: 문장의 정확한措辞(phrasing), 바람에 날리는 잎의 정확한 픽셀 값. JEPA의 손실 함수는 대신 학습된 표현 공간 내부에서만 작동하며, 예측된 임베딩을 별도의 느리게 업데이트되는 인코더가 생성한 목표 임베딩과 비교한다. 학습 중에 원시 출력으로 디코딩되는 것은 전혀 없다. 이는 예측기가 노이즈를 버리고 신호 중 구조적, 작업 관련 부분만 유지할 수 있게 해준다 — 우연의 일치로, 이는 계획(planning)에 유용한 부분이기도 하다: 에이전트는 완전한 이미지 렌더링이나 완전한 텍스트 생성의 비용을 치르지 않고 잠재 공간에서 롤 포워드(roll forward)하여 “X를 하면 어떻게 될지"를 시뮬레이션할 수 있다.

VL-JEPA는 경쟁 제품 대비 70억 개 이상인 매개변수에 비해 단 16억 개의 매개변수로만 확립된 비전-언어 모델과 비교 가능한 성능을 달성했다. 시각 질의응답에서 정확도를 높이는 동시에 디코딩 작업을 약 2.85배 줄인다. 더 중요한 것은 JEPA 아키텍처가 지속 학습(continual learning)을 위해 설계되었다는 점이다 — 텍스트의 통계적 패턴이 아니라, 환경이 어떻게 작동하는지에 대한 내부 모델을 구축한다.

한계는 JEPA가 순수한 언어 작업에 대해 아직 성숙해지고 있다는 것이다: LLM-JEPA는 존재하지만 표준 벤치마크에서 대규모 오토레거시 또는 디퓨전 모델에 아직 못 미치고 있으며, JEPA는 챗봇의 드롭인(replace) 대체재가 아니다 — 언어 모델과 정면으로 경쟁하기보다 보완하는 표현 학습 및 계획의 기반(substrate)이다. 그러나 물리적 인과 관계가 유창한 산문 생성보다 중요한 로보틱스나 에임보디 AI(Embodied AI)의 경우, JEPA는 처음부터 옳은 아키텍처일 수 있다.

프로덕션 시스템은 무엇을 하고 있는가: 하이브리드 아키텍처

가장 흥미로운 발전은 여러 아키텍처의 요소를 결합하는 것이다. AI21 Labs의 Jamba는 트랜스포머 어텐션 레이어와 Mamba 상태 공간 레이어를 교차 배치한다 — 긴 범위 의존성은 어텐션으로, 효율적인 로컬 처리는 SSM으로. Qwen3.5는 Gated DeltaNet과 Mixture of Experts를 결합하여 각 입력에 대해 관련 전문가 네트워크만 활성화한다. 클라우드 프로바이더는 이미 Mamba 기반 모델을 목록에 올려 두고 있으며 — Mistral의 Codestral Mamba가 최초의 오픈소스 Mamba-2 릴리스였다 — cloud LLM providers overview는 어디에 어떤 것이 가능한지 추적한다.

다른 작업에는 다른 요구사항이 있다:

• 코드 생성은 디퓨전의 병렬 토큰 생성에서 이득을 볼 수 있다.
• 긴 문서 분석은 SSM의 선형 스케일링이 필요하다.
• 창작 글쓰기는 일관성을 위해 트랜스포머 어텐션을 사용할 수 있다.

단일 아키텍처로 모든 것을 해결할 수는 없다. multi-model system design — 즉, 올바른 작업을 위한 올바른 메커니즘 — 를 주도하는 동일한 논리가 이제 모델 내부에서도 나타나고 있다.

AI 애플리케이션을 구축하고 2027년이나 2028년을 위해 아키텍처를 설계하고 있다면, 순수한 트랜스포머 솔루션에 과도하게 투자하지 마라. SSM이나 디퓨전 구성 요소가 사용 사례에 더 잘 부합할 수 있는지 고려해 보라. 생태계가 이동하고 있으며, 조기 채택자들이 우위를 점할 것이다.

두 가지 추가 함의는 추적할 가치가 있다. Qwen3.5가 단 30억 개의 활성 매개변수로 보여준 성능은, 특수화되고 효율적인 아키텍처가 많은 작업에서 더 큰 범용 모델보다 우월할 수 있음을 시사한다 — 이는 AI 배포의 민주화를 촉진하고 컨슈머 하드웨어에서 고성능 모델 접근성을 높일 수 있다. 또한 디퓨전 언어 모델은 특정 워크로드에서 레이턴시를 한 단계(order of magnitude) 줄일 수 있다; 실시간 응답이 필요한 애플리케이션 — 대화형 에이전트, 라이브 번역, 인터랙티브 툴 — 이 가장 큰 이득을 볼 것이다.

어디로 향하는가: 포스트-트랜스포머 시대

3년 주기 사이클을 따르자면, 2027–2028년까지 비-트랜스포머 아키텍처의 첫 번째 프로덕션 배포를 예상한다. 이들은 트랜스포머 어텐션을 필요로 하는 곳에 활용하되, 효율성 이득을 위해 SSM이나 디퓨전을 사용하는 하이브리드 시스템일 가능성이 높다.

우리가 현재 있는 통합(consolidation) 단계 — 연구소들이 LLM이 추론하고 행동할 수 있음을 증명하는 단계 — 는 더 어려운 과제로 넘어가고 있다: 이 시스템을 효율적이고, 적응 가능하며, 공간적으로 인지하게 만드는 것이다. 이는 지속 학습, 월드 모델, 아키텍처적 효율성에 대한 돌파구를 요구한다. 각々が 순수한 스케일링으로 해결할 수 없는 근본적인 한계를 다룬다.

다음 빅스는 더 큰 모델이 아닐 것이다. 더 적은 것으로 더 많은 것을 이루는, 더 스마트한 아키텍처가 될 것이다 — 단순히 예측하는 것이 아니라 이해하고, 단순히 처리하는 것이 아니라 적응하는 모델. 이것이 LLM 이후에 오는 것이다. 단일한 새로운 아키텍처가 아니라, 패턴 매칭을 넘어 진정한 이해로 마침내 나아가는 특수화되고 효율적인 시스템의 한 세대.

참고 자료

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf