LLMの次は？Mamba、拡散モデル、ワールドモデル

AIのハイプは一定のリズムを刻んでいます。およそ3年ごとに、業界が賭けを集中させているアーキテクチャが、より新しいものへと置き換わっていくのです。次の転換点は、すでに研究機関の中で形を成し始めています。

以下に述べる内容は、Transformerに取って代わる最も有力な候補のアーキテクチャ、およびその転換がすでに始まっていることを示す証拠のツアーです。このパターンは繰り返し現れます。支配的なアーキテクチャ、それを超えてスケールアップすることができない壁、そしてその壁を迂回する新たな設計。

本記事では、Transformerに迫りつつある4つの限界、3つの代替アーキテクチャ、そしてすでに本番環境で稼働しているハイブリッドシステムが示唆していることについて解説していきます。エンジニアが2027年以降に向けてどのような設計をするべきかを判断するための、実用的な視点を提供することを目指しています。これは予測市場の分析ではなく、2026年現在の証拠に基づいた考察です。

パターン：AIの3年サイクルによるブレイクスルー

数年ごとに、AIの重心は移っています。

Transformerは2017年頃に登場し、RNNやCNNはレトロな存在のように見えました。その後、2020年から2022年の間に拡散モデルが画像生成の主役を奪い取りました。そして、GPT-3やChatGPTをきっかけに2022年から、LLMはあらゆる分野に爆発的に浸透しました。

このパターンに従えば、私たちはすでに次の転換点に近づいているはずです。それはすでに始まっています——ただし、あなたが予想するような場所ではありません。ソーシャルメディアやプレスリリースの中ではなく、研究機関の中です。

Yann LeCun氏は2025年を通じて、自己回帰型LLMには根本的な限界があると主張し続けました。「私たちが必要なのはワード予測器ではなく、ワールドモデルだ」と彼は、ある会議から次の会議へと移動しながら、繰り返し述べてきました。一方、彼のチームは、Joint Embedding Predictive Architecture（JEPA）に関する一連の論文を発表しました。最初は画像向けに、次は動画向けに、そして2025年9月には言語向けに、という流れです。

直近12か月の補佐証拠は、異例のほど具体的です：

• Mambaのような状態空間モデル（SSM）は、線形的なスケーリングにより数百万トークンのコンテキストを処理できます——これは、二次的な注意機構（クアッドラティックアテンション）を持つTransformerには不可能なことです。
• GoogleはGemini Diffusionを発表し、最大10倍の高速なテキスト生成を約束しました。
• NVIDIAは、Mamba-2レイヤーを組み込んだNemotron 3をリリースしました。
• 中国のQwen3.5は、Gated DeltaNetsを使用しながら稼働を開始しました。
• 2025年12月には、VL-JEPAが登場しました。競合他社と比較してパラメータ数が半分であるにもかかわらず、より高性能を発揮するビジョン・ランゲージモデルです。

なぜTransformerは行き詰まりつつあるのか

Transformerは、その得意とする分野では驚異的な性能を発揮します。しかし、どんなにスケールアップしても解決できない4つの問題が迫りつつあります。

二次的な注意機構は長文コンテキストで破綻する

セルフアテンション（自己注意）とは、すべてのトークンが他のすべてのトークンとやり取りすることを意味します——計算量はO(n²)です。コンテキストを2倍にすると、計算コストは4倍になります。1,000万トークンに達すると、計算式そのものが破綻します。さらに多くのGPUを投入することは可能ですが、それは基本的な算術との戦いです。

学習データが枯渇しつつある

LLMはインターネット上のテキストで学習しますが、2026年までにその大半はスクレイピング（爬取）済みです。書籍、Wikipedia、Reddit、GitHub——すべてが消費されました。合成データは解決策のように聞こえますが、AIが生成したテキストで訓練されたモデルは、世代を追うにつれて性能が低下する現実を認識する必要があります。モデルは、生成プロセス自体のアーティファクト（欠陥）やバイアスを学習してしまうからです。2020年から2024年にかけてすべての基盤となっていたスケーリング法則は、収益逓減に直面しています。

エネルギーとコストは厳しい天井

フロンティアモデル（最先端モデル）の訓練コストは、今や数千万ドルから数億ドルにのぼります。1日数十億のリクエストを処理するには、莫大な計算リソースが必要です。AIデータセンターはギガワット級の電力を必要とし、発電能力がボトルネックになりつつあります。Sam Altman氏は2024年に、計算コストがすべてのボトルネックだと認めましたが、その状況は変わっていません。

制約がエネルギーにある場合、解決策はモデル側、あるいはシリコン（ハードウェア）側から来ます。私のLLMシステムのコスト最適化や、LLM推論に特化したチップに関する記事は、そのトレードオフの両面を扱っています。

パターンマッチングは理解ではない

LLMはスケールされたパターンマッチャーであり、学習データから次のトークンを予測しています。それは極めて得意ですが、推論も、物理世界の因果関係の理解も行っていません。AIに計画立案、シミュレーション、あるいは新しい環境への本質的な適応を求めるのであれば、トークン予測だけではその目標には到達できません。

状態空間モデル：圧縮メモリによる線形スケーリング

MambaやGated DeltaNetなどの状態空間モデル（SSM）は、シーケンス（配列）に対して全く異なるアプローチをとります。すべての過去のトークンに注意を向けるのではなく、履歴を要約する圧縮された内部状態を維持します——二次的ではなく線形のO(n)スケーリングであり、推論時のトークンあたりのメモリ使用量は一定で、シーケンスがどれほど長くなっても変わりません。

この効率の背後にあるメカニズムは理解する価値があります。なぜなら、それはスピードの源とそのトレードオフの両方を説明するからです。古典的な状態空間モデル（S4ファミリー）は時間不変的でした：各ステップで同じ固定の遷移行列が適用されるため、高速ですが、あるトークンが他のトークンより重要であることを判断できません。Mambaの貢献は、これらの遷移パラメータを選択的（現在の入力に依存する関数）にすることで、モデルが圧縮状態に何を取り込み、何を破棄するかを動的に選択できるようにした点にあります。これは、注意機構のソフトマックスが何に重点を置くかを決めることとよく似ていますが、O(n²)のスコア行列を実際に生成することはありません。この選択的反復を高速に保つため、Mambaはそれをハードウェア認識型の並列スキャンとして実行します：トークンごとのループではなく、GPUのSRAM上で計算される結合演算です。これは、TransformerのためのFlashAttentionが行った低レベルカーネル工学と同じ種類のものです。Mamba-2はこれをさらに推し進め、「状態空間の対偶性（state space duality）」を通じて、選択的SSMと制限された形の線形注意が、同じ基本的な演算を計算することを示しました——これにより、SSMカーネルはGPUが最適化されている行列乗算ハードウェアを再利用できるようになりました。

ここでの真の本番環境へのブレークスルーは、Gated DeltaNetです。Mamba2の改良版であり、より良い長文コンテキスト処理のためにデルタルールを使用します。Qwen3.5は2026年2月にこれをコアアーキテクチャとして採用し、ハイブリッドMoE構成でアクティブパラメータ数がわずか30億しか使わずに、エージェントタスクやコーディングベンチマークで優れた結果を得ました。これは印象的な効率であり、私のQwen 3.6 MTP と標準デコーディングの llama.cpp ベンチマークは、Qwenモデルがコンシューマー向けハードウェアでどのように動作するかを示す手がかりになります。

このトレードオフは構造的なものであり、単なる学習時のアーティファクトではありません。SSMは全体の履歴を固定サイズの状態で圧縮するため、Transformerが注意機構を通じてすべての過去のトークンを個別にアドレス可能に保持することによって保全される、細かい詳細情報を失う可能性があります。正確なコピーや引用が必要であれば、まだTransformerが勝っています。しかし、要約、エージェントによるツール使用、原文の正確な記憶よりも概要の方が重要な長文ドキュメント推論といった、ほとんどの実用的なワークロードでは、その効率向上は十分に見合うものです。

拡散言語モデル：1回の前向きパスで複数のトークンを生成

拡散言語モデルは、画像生成を転換させた同じ技術を生（テキスト）に応用します。1回に1つのトークンを生成するのではなく、各前向きパス（forward pass）の間で複数のトークンを並列に生成できます。

2026年5月にリリースされたNVIDIAのNemotron-Labs-Diffusionは、Qwen3-8Bと比較して、HumanEval、GSM8K、Math500などのベンチマークで競合する精度を維持しながら、1回の前向きパスあたりのトークン数でほぼ6倍の性能を達成しました。これは、自己回帰型、拡散型、自己投機的デコーディング（self-speculation decoding）を統合した3モードモデルです。GoogleのGemini Diffusionはさらに大きなスピードアップを約束しています。

ただし、品質と速度のトレードオフは存在します。自己回帰型モデルは、各ステップの局所的な一貫性（最も確率が高い次のトークン）を最適化します。一方、拡散モデルは全体の出力に対してグローバルに最適化するため、全体の構造を向上させますが、細かい詳細が犠牲になることがあります。創造的なライティングやブレインストーミングでは、拡散モデルの方が良いかもしれません。しかし、正確な技術的な出力では、まだ自己回帰型が勝っています。

ここを、推論時のトリック（技術）と区別しておく価値があります。投機的デコーディングは、ドラフトと検証を行うことで、出力分布を変えずに1回の前向きパスあたり複数のトークンを既に提供しています。拡散モデルは、並列トークン生成を推論レイヤーからモデルアーキテクチャ自体の中へ移すことで、構造的に異なる賭けを行っています。

ワールドモデルとJEPA：トークンではなく意味を予測する

ワールドモデル、特にYann LeCun氏のJEPAアーキテクチャは、最も急進的なアプローチをとります。次のトークンを予測するのではなく、次の潜在埋め込み（latent embedding）——つまり、次に何が来るべきかを示す圧縮された表現——を予測します。これは人間の認知機能の仕組みに近いです：私たちは個々の単語を予測するのではなく、意味を予測しています。

Transformerや拡散モデルの両方とのアーキテクチャ上の違いは、デコーダ（復元器）の欠如です。生成モデル（自己回帰型または拡散型）は、ターゲットを元の空間（正確なピクセル、正確なトークン）で再構築する必要があります。これは、モデルが予測不可能な表面ノイズ（文の正確な言い回し、風の中で揺れる葉の正確なピクセル値など）をモデル링するために容量を使うことを強います。一方、JEPAの損失関数は、完全に学習された表現空間の中で動作します。予測された埋め込みと、別々にゆっくりと更新されるエンコーダーによって生成されたターゲット埋め込みを比較するのです。訓練中は、生データへの復元（デコーディング）は一切行われません。これにより、予測器はノイズを破棄し、シグナルの構造的でタスクに関連する部分のみを保持できます——これは偶然にも、計画立案にとって有用な部分でもあります。エージェントは、完全な画像のレンダリングや完全なテキスト生成のコストを支払うことなく、潜在空間で前方シミュレーションを行うことで「Xをしたときどうなるか」をシミュレートできます。

VL-JEPAは、競合他社の70億パラメータ以上に対し、わずか16億パラメータで、確立されたビジョン・ランゲージモデルに匹敵する性能を達成しました。視覚質問応答（VQA）の精度を向上させながら、デコーディング演算を約2.85倍削減します。より重要なのは、JEPAアーキテクチャは継続学習のために設計されている点です。テキスト中の統計的パターンだけでなく、環境がどのように機能するかについての内部モデルを構築します。

ただし、JEPAが純粋な言語タスクにおいてまだ成熟段階にあるという限界があります。LLM-JEPAは存在しますが、標準ベンチマークにおいて、大規模な自己回帰型モデルや拡散モデルにまだ及んでいません。また、JEPAはチャットボットの即座の置き換え品ではなく、言語モデルと競り合うよりもむしろ補完する、表現学習と計画立案の基盤です。しかし、エンボディドAI（具身化AI）やロボティクス——流暢な文章生成よりも物理的因果関係の理解が重要な分野——において、JEPAは最初から適切なアーキテクチャかもしれません。

本番システムは何をしているか：ハイブリッドアーキテクチャ

最も興味深い発展は、複数のアーキテクチャの要素を組み合わせたものです。AI21 LabsのJambaは、TransformerのアテンションレイヤーとMambaの状態空間レイヤーを交互に配置しています——長距離依存性にはアテンション、効率的な局所処理にはSSMを使用します。Qwen3.5は、Gated DeltaNetとMixture of Experts（専門家混合）を組み合わせ、各入力に対して関連するエキスパートネットワークのみを活性化します。クラウドプロバイダはすでにMambaベースのモデルをリストしています——MistralのCodestral Mambaは最初のオープンソースMamba-2リリースでした——、そしてクラウドLLMプロバイダ概要が、どこで何が利用可能かをトラッキングしています。

異なるタスクには異なる要件があります：

• コード生成は、拡散の並列トークン生成から恩恵を受けかもしれません。
• 長文ドキュメントの分析には、SSMの線形スケーリングが必要です。
• 創造的なライティングは、一貫性のためにTransformerのアテンションを利用できる可能性があります。

単一のアーキテクチャではすべてを解決することはできません。マルチモデルシステム設計を推進するのと同じ論理——正しいタスクへの正しいメカニズム——が、今やモデル自体の内部に現れ始めています。

AIアプリケーションを構築し、2027年または2028年に向けて設計しているなら、純粋なTransformerソリューションに過度に投資しないでください。SSMや拡散コンポーネントが、あなたのユースケースにより良く対応できるかどうかを検討してください。エコシステムはシフトしており、早期の採用者が有利になるでしょう。

さらに2つの示唆に値する含意があります。Qwen3.5のわずか30億のアクティブパラメータでの性能は、特化した効率的なアーキテクチャが、多くのタスクにおいてより大きな汎用モデルを上回ることを示唆しています——これはAIデプロイの民主化につながり、コンシューマー向けハードウェアで高性能モデルを利用可能にする可能性があります。また、拡散言語モデルは、特定のワークロードにおいてレイテンシを桁違いに削減できる可能性があります。リアルタイムレスポンスを必要とするアプリケーション——対話型エージェント、ライブ翻訳、インタラクティブツール——が最も恩恵を受けるでしょう。

これはどこへ向かっているか：Transformerの時代を超えて

3年サイクルに従えば、2027〜2028年までに、非Transformerアーキテクチャの初の本番デプロイが期待されます。これらは、必要に応じてTransformerのアテンションを利用しつつ、効率向上のためにSSMや拡散を使用するハイブリッドシステムになる可能性が高いです。

私たちが現在いる統合フェーズ——研究機関がLLMが推論し、行動できることを証明している段階——は、より難しい課題に道を譲りつつあります：これらのシステムを効率的、適応的、空間的に認識できるものにすることです。これには、継続学習、ワールドモデル、アーキテクチャ効率におけるブレークスルーが必要です。それぞれは、純粋なスケーリングでは解決できない根本的な限界に対処しています。

次に来る大きなものは、より大きなモデルではありません。それは、少ないことで多くを成し遂げる、より賢いアーキテクチャです——予測するだけでなく理解し、処理するだけでなく適応するモデル。これがLLMの後にやって来るものです。単一の新しいアーキテクチャではなく、パターンマッチングを超えて真の理解へ向けてようやく歩み出す、特化型で効率的なシステムの1世代です。

参考文献

1. Adaline Labs. “2026年のAI研究の状況：エージェント型AIからエンボディメント（具身化）へ.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “私たちが知っているLLMの終わり：なぜ2026年はAIの次のアーキテクチャ革命の始まりとなるのか.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “LLMの超越：Transformer後の世界の出現.” Communications of the ACM, 2026年5月. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: 自己回帰、拡散、および自己投機的デコーディングを統合する3モード言語モデル.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AIがNemotron-Labs-Diffusionをリリース：Qwen3-8Bに対して1回の前向きパスあたり6倍のトークン数を誇る3モード言語モデル.” 2026年5月20日. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: ビジョン・ランゲージのためのJoint Embedding Predictive Architecture.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: ビジョン・ランゲージのためのJoint Embedding Predictive Architecture.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Mamba2をデルタルールで改良.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “なぜQwen3.5はGated DeltaNetを選んだのか？” 2026年2月. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “自己回帰型 vs. マスク拡散言語モデル：制御された比較.” arXiv:2603.22075, 2026年3月. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “なぜ拡散モデルが2026年に開発者のワークフローを変える可能性があるのか.” 2025年11月. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “GPUクラウドにおけるMamba-3と状態空間モデル：Transformerの代替品としてSSM推論をデプロイする（2026年ガイド）.” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner、2026年までに企業のアプリケーションの40%がタスク特化型AIエージェントを搭載すると予測.” 2025年8月26日. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “AIの3年ブレイクスルーサイクルの追跡.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: 選択的状態空間による線形時間シーケンスモデリング.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “TransformerはSSMである：構造化状態空間の対偶性を通じての一般化モデルと効率的アルゴリズム (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “Yann LeCun氏によるより人間らしいAIのビジョンに基づく最初のAIモデル (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “自律マシンインテリジェンスへの道.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf