Hardware

Docker Model Runner は、Dockerが公式に提供するローカルでAIモデルを実行するためのツールですが、
Docker Model RunnerにおけるNVidia GPUの加速の有効化 には特定の設定が必要です。

私は、Ollama上でGPT-OSS 120bのパフォーマンステストを3つの異なるプラットフォームで確認しました：NVIDIA DGX Spark, Mac Studio, and RTX 4080。OllamaライブラリのGPT-OSS 120bモデルは65GBあり、これはRTX 4080（または新しいRTX 5080の16GB VRAMには収まらないことを意味します。

Docker Model Runner (DMR) は、2025年4月に導入された Docker の公式ソリューションで、AIモデルをローカルで実行するためのものです。このチートシートでは、すべての必須コマンド、構成、およびベストプラクティスのクイックリファレンスを提供しています。

現代のコンピューティング環境において、仮想化は開発、テスト、複数のオペレーティングシステムの実行において不可欠となっています。Linuxユーザーが仮想マシンを簡単に管理できる方法を探している場合、GNOME Boxesは、機能性を犠牲にすることなく、軽量で使いやすいオプションとして際立っています。

AI の未来は、より賢い モデル だけに関するものではありません。それは、実際にそれらのモデルがどのように提供されるかに合わせて設計されたシリコン（半導体）についても同様です。LLM の推論 に特化したハードウェアは、ビットコインマイニングが GPU から専用 ASIC へと移行したのと同じような道を行っていますが、モデルや精度のレシピが絶えず進化しているため、より厳しい制約の中で進んでいます。

NVIDIA DGX Spark は実在する製品で、2025 年 10 月 15 日から販売開始されます。統合された NVIDIA AI スタック を利用して、ローカルでの LLM 作業 が必要な CUDA 開発者を主なターゲットとしています。米国での MSRP は 3,999 ドル です。英国・ドイツ・日本 での小売価格は、VAT（消費税）や流通チャネルの事情により高くなります。オーストラリアドル (AUD) や韓国ウォン (KRW) の公開価格はまだ広く発表されていません。

LLM や AI 一般に特に適した、トップクラスの消費向け GPU の価格を比較してみましょう。 具体的には、RTX-5080 と RTX-5090 の価格 を見ていきます。 価格はわずかに下落しています。

GPU負荷監視アプリケーション: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia 社がNVIDIA DGX Sparkの発売を控えています。これは Blackwell アーキテクチャを採用した小型 AI スーパーコンピュータで、128GB 以上の統一メモリと 1 PFLOPS の AI 性能を備えています。LLM を実行するに最適なデバイスです。

特に大規模言語モデル（LLM）および AI 全般に適したトップクラスのコンシューマー向け GPU の価格を比較しましょう。 特にRTX 5080 と RTX 5090 の価格 を見てみましょう。少し価格が下がっています。

わずか 3 ヶ月前まで、店舗で RTX 5090 を見かけることはありませんでした。しかし今や、その姿を見ることができます。ただし、価格はメーカー希望小売価格（MRSP）よりわずかに高くなっています。 オーストラリアにおける RTX 5080 と RTX 5090 の最安価格を比較して、その推移を見てみましょう。オーストラリアの RTX 5080 と RTX 5090 の価格

比較のために、以下の記事もご覧ください。オーストラリアの RTX 5080 と RTX 5090 の価格 - 2025 年 7 月、2025 年 10 月、2025 年 11 月。

いくつかの素晴らしい仕事のためのトップ自動システム。

PCIe レーンがLLM性能に与える影響? タスクによります。トレーニングやマルチGPUの推論では、パフォーマンスの低下が顕著です。

この問題に強く打たれました。しかし、あなたのブルースクリーン（BSOD）が私のものと似ている場合は、PCを調査し、テストすることをお勧めします。原因はインテルの13世代および14世代CPU劣化問題でした。

私はある仮説をテストしたいと思っています。すなわち、「インテルCPUのすべてのコアを活用することで、LLMの速度が向上するか？」というものです。このテストについては、ALL cores on Intel CPU would raise the speed of LLMs?をご覧ください。

新しいgemma3 27bitモデル（gemma3:27b、ollama上では17GB）が私のGPUの16GB VRAMに収まらず、部分的にCPU上での実行に頼っているという点が気になります。

現代の混乱の最中、私は AI タスクに適した 異なるグラボの仕様を比較 しています (ディープラーニング, オブジェクト検出 および LLM)。 ただし、これらはすべて非常に高価です。