Hardware

NVIDIAは、NVIDIA DGX Sparkを間もなくリリースします。これは、ブラックウェルアーキテクチャを採用し、128GB以上の統合RAMと1 PFLOPSのAI性能を備えた小型のAIスーパーコンピュータです。LLMを実行するための理想的なデバイスです。

トップレベルの消費者向けGPUの価格を比較しましょう。特にLLM（大規模言語モデル）やAI全体において適したGPUについて詳しく見てみましょう。

具体的には、RTX 5080およびRTX 5090の価格を見てみましょう。わずかに価格が下がっています。

ちょうど3か月前には、RTX 5090は店頭に並んでいなかったが、今ではようやく販売されている。ただし、価格はMRSPよりもやや高くなっている。

トップの自動化システムで、ある素晴らしい仕事に使用できます。

PCIe レーンがLLMの性能に与える影響? タスクによります。トレーニングやマルチGPUの推論では、パフォーマンスの低下が顕著です。

この問題に強く打たれました。しかし、あなたのブルースクリーン（BSOD）が私のものと似ている場合は、PCを調査し、テストすることをお勧めします。原因はインテルの13世代および14世代CPU劣化問題でした。

私は理論をテストしたいと思っています - すべてのコアをIntel CPUで使用するとLLMの速度が上がるか？
新しいgemma3 27bitモデル（gemma3:27b、ollama上では17GB）が私のGPUの16GB VRAMに収まらず、部分的にCPU上でも実行されていることが気になります。

現代の世界の混乱の中でここにいて、さまざまなカードのテクスペックを比較で、AI のタスクに適したものを確認しています。
(Deep Learning, オブジェクト検出、 LLMs など)。
しかし、これらはすべて非常に高価です。

Ollama サーバーが同時に2つのリクエストを受けると、その動作は設定と利用可能なシステムリソースに依存します。

ET-8500をWindowsにインストールする方法は、インストール手順に詳しく記載されています。
ET-8500 Linuxドライバのインストールは簡単ですが、簡単ではありません。

いくつかのLLM（llama3、phi3、gemma、mistral）のCPUおよびGPUでの予測速度の比較。

NVIDIA DGX Spark - 新しい小型AIスーパーコンピュータ