PCIeレーン数はLLMのパフォーマンスにどのように影響するか？

PCIeレーン数は主にモデルの読み込み時間とGPU間通信に影響します。モデルがVRAMにロードされた後は、推論速度への影響はほぼありません。レーン数が少ないと、読み込み、マルチGPU推論、およびトレーニングの速度が低下します。

単一GPUによるLLM推論にはx16 PCIeは必要か

いいえ。モデルの読み込み後、単一GPUでの推論には通常x4レーンで十分です。x8やx16は主に読み込み時間を短縮するほか、頻繁にモデルを切り替える場合に有効です。

GPUあたり少なくともx8レーンを推奨します。GPUあたりx4では、マルチGPU環境での学習および推論性能が約5〜10%以上低下する場合があります。大規模な構成では、GPU間帯域幅においてSXMまたはNVLinkがPCIeより優位です。

単一GPUまたは小規模な環境では、性能向上の幅は小さいことが多いです。一方、マルチGPUクラスタや大規模なトレーニングでは、PCIeの世代が上がると帯域幅と並列転送が向上します。

当社のLLMパフォーマンスハブでは、スループットとレイテンシの関係、VRAMの制約、並列リクエスト、およびランタイムやハードウェア横断でのベンチマーク结果を網羅しています。

LLMのために2枚目のGPUを追加する予定はありますか？

PCIeレーン数がLLMのパフォーマンスに与える影響? タスクによって異なります。トレーニングやマルチGPU推論では、パフォーマンスの低下が顕著です。

スループット、レイテンシ、VRAM、およびランタイムとハードウェア横断のベンチマークについてさらに詳しく知りたい場合は、LLMパフォーマンス: ベンチマーク、ボトルネックと最適化を参照してください。

シングルGPUの場合、LLMがすでにVRAMに読み込まれている状態であれば、ほぼ差はありません。

“多数のPCIレーンを持つマザーボード” この画像は、Flux - テキストから画像生成するLLMで自動生成されました。

モデルの読み込み: PCIeレーン数は、システムRAMからGPUのVRAMへのモデル重みの読み込み速度に主に影響します。より多くのレーン（例: x16）は高速な転送を可能にし、初期読み込み時間を短縮します。モデルがGPUメモリに読み込まれた後、推論速度はPCIe帯域幅によってほとんど影響を受けません（モデルやデータがVRAMへ頻繁にスワップイン/アウトされる場合を除く）。
推論速度: 典型的なLLM推論タスクにおいて、モデルが読み込まれた後のPCIeレーン数の影響は最小限です。これは計算がGPU内で行われるためです。結果や中間データがCPUやGPU間で頻繁に転送される必要がある場合のみ、PCIe帯域幅がボトルネックとなります。
トレーニングとマルチGPU構成: 特にマルチGPU環境でのトレーニングにおいて、PCIe帯域幅はより重要になります。レーン数が低い場合（例: x4）、GPU間の通信やデータのシャッフルが増加するため、トレーニングが大幅に遅くなる可能性があります。最適な結果を得るには、マルチGPUシステムではGPUあたり少なくともx8レーンを推奨します。

構成	LLM推論への影響	LLMトレーニングへの影響	主な注意点
GPUあたり PCIe x16	読み込み時間が最速、大規模モデルに最適	マルチGPUトレーニングに最適	ハイエンドワークステーションやサーバーの標準
GPUあたり PCIe x8	読み込みはやや遅い、推論の低下は無視できるレベル	マルチGPUに許容範囲	軽微なパフォーマンス損失、特に2-4 GPU構成で顕著
GPUあたり PCIe x4	読み込みが明確に遅い、推論への影響は軽微	トレーニングが大幅に遅くなる	トレーニングには非推奨、ただしシングルGPU推論では動作可能
SXM/NVLink (例: H100)	GPU間通信が大幅に高速、PCIe比で推論が最大2.6倍高速	大規模トレーニングに優れる	企業規模のLLMに最適、GPUの統合を可能にする

SXM vs PCIe: NVIDIAのSXMフォームファクター（NVLink搭載）は、PCIeと比較してGPU間の帯域幅が著しく高いです。例えば、H100 SXM5 GPUはH100 PCIeと比較して、特にマルチGPU構成において最大2.6倍の速さでLLM推論を実現します。これは大規模モデルや分散ワークロードにとって重要です。
PCIe世代: PCIe 3.0から4.0や5.0へのアップグレードにより帯域幅が増加しますが、小規模なLLM推論やシングルGPU推論においての実用的なメリットは最小限です。大規模クラスタや重いマルチGPUトレーニングでは、PCIeの上位世代が並列化やデータ転送に役立ちます。

シングルGPUのLLM推論: モデルの読み込み後、PCIeレーン数は主要なボトルネックにはなりません。通常はx4レーンで十分ですが、x8やx16にすることで読み込み時間を短縮できます。
マルチGPU推論/トレーニング: GPUあたりx8またはx16レーンを推奨します。レーン数が低いとGPU間通信がボトルネックになり、トレーニングと大規模推論の両方が遅くなる可能性があります。
企業/研究規模: 最大のモデルと最速のパフォーマンスを求める場合、SXM/NVLinkベースのシステム（例: DGX, HGX）が優れており、GPU間のより高速なデータ交換と高いスループットを可能にします。

「GPUを4xレーンで動作させても問題ありません。特に、GPUを2枚しか持っていない場合はそうなります。4 GPU構成の場合は、GPUあたり8xレーンを優先しますが、4 GPUすべてで並列化を行う場合、4xレーンで動作させてもパフォーマンスが5-10%程度低下するだけになる可能性が高いです。」

PCIeレーン数は、主にモデルの読み込みとGPU間通信に影響し、モデルが読み込まれた後の推論速度には影響しません。
シングルGPUでLLM推論を実行している大多数のユーザーにとって、レーン数は重要な問題ではありません。
トレーニングやマルチGPUワークロードでは、より多くのレーン（x8/x16）と高帯域幅インターコネクト（NVLink/SXM）により、大幅なパフォーマンス向上が期待できます。

さらに多くのベンチマーク、ハードウェアの選択肢、パフォーマンスチューニングについては、LLMパフォーマンス: ベンチマーク、ボトルネックと最適化ハブを確認してください。