Hardware

Aplikasi pemantauan beban GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia segera merilis NVIDIA DGX Spark - superkomputer kecil AI berbasis arsitektur Blackwell dengan 128+GB RAM terpadu dan kinerja AI sebesar 1 PFLOPS. Perangkat yang menarik untuk menjalankan LLMs.

Mari kita bandingkan harga untuk GPU konsumen tingkat atas yang cocok untuk LLM khususnya dan AI secara umum. Secara khusus, lihat RTX 5080 dan RTX 5090 prices. Mereka sedikit turun.

Hanya 3 bulan yang lalu kita tidak melihat RTX 5090 di toko, dan sekarang mereka sudah ada, tetapi harganya sedikit lebih tinggi dari MRSP. Mari kita bandingkan harga terendah RTX 5080 dan RTX 5090 di Australia dan lihat bagaimana perkembangannya.

Sistem otomasi terbaik untuk beberapa pekerjaan yang luar biasa.

Bagaimana Jalur PCIe Mempengaruhi Kinerja LLM? Tergantung pada tugasnya. Untuk pelatihan dan inferensi multi-GPU — penurunan kinerja sangat signifikan.

Saya terkena masalah ini dengan sangat keras. Namun, Anda sebaiknya menyelidiki dan menguji PC Anda jika BSOD Anda mirip dengan milik saya.
Penyebabnya adalah Masalah Degradasi CPU Intel pada Generasi ke-13 dan ke-14.

Saya punya teori untuk diuji - jika memanfaatkan semua inti pada CPU Intel akan meningkatkan kecepatan LLM? Ini mengganggu saya bahwa model baru gemma3 27 bit (gemma3:27b, 17GB pada ollama) tidak masuk ke dalam VRAM 16GB GPU saya, dan sebagian berjalan di CPU.

Dalam tengah-tengah kekacauan dunia modern ini, di sini saya membandingkan spesifikasi teknis dari berbagai kartu yang cocok untuk tugas AI
(Deep Learning,
Object Detection
dan LLMs).
Mereka semua sangat mahal meskipun demikian.

Ketika server Ollama menerima dua permintaan secara bersamaan, perilakunya bergantung pada konfigurasinya dan sumber daya sistem yang tersedia.

Pemasangan ET-8500 di Windows telah didokumentasikan dengan baik dalam instruksi. Pemasangan Driver ET-8500 untuk Linux adalah sederhana tetapi tidak trivial.

Membandingkan kecepatan prediksi beberapa versi LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) pada CPU dan GPU.