Hardware

Docker Model Runner adalah alat resmi Docker untuk menjalankan model AI secara lokal, tetapi mengaktifkan percepatan GPU NVidia di Docker Model Runner memerlukan konfigurasi khusus.

Saya menemukan beberapa uji kinerja menarik dari GPT-OSS 120b yang berjalan di Ollama di tiga platform berbeda: NVIDIA DGX Spark, Mac Studio, dan RTX 4080. Model GPT-OSS 120b dari perpustakaan Ollama memiliki ukuran 65GB, yang berarti tidak masuk ke dalam 16GB VRAM dari RTX 4080 (atau yang lebih baru RTX 5080).

Docker Model Runner (DMR) adalah solusi resmi Docker untuk menjalankan model AI secara lokal, diperkenalkan pada April 2025. Cheat sheet ini memberikan referensi cepat untuk semua perintah penting, konfigurasi, dan praktik terbaik.

Dalam pemandangan komputasi saat ini, virtualisasi telah menjadi hal yang esensial untuk pengembangan, pengujian, dan menjalankan beberapa sistem operasi. Bagi pengguna Linux yang mencari cara sederhana dan intuitif untuk mengelola mesin virtual, GNOME Boxes menonjol sebagai pilihan ringan dan ramah pengguna yang memprioritaskan kemudahan penggunaan tanpa mengorbankan fungsi.

Masa depan AI bukan hanya tentang model yang lebih cerdas models — tetapi tentang silikon yang lebih cerdas.
Perangkat keras khusus untuk inference LLM sedang mendorong revolusi yang mirip dengan perpindahan penambangan Bitcoin ke ASICs.

NVIDIA DGX Spark adalah nyata, tersedia untuk dibeli 15 Oktober 2025, dan ditujukan untuk pengembang CUDA yang membutuhkan pekerjaan LLM lokal dengan tumpukan AI NVIDIA yang terintegrasi. Harga MSRP AS $3.999; harga ritel UK/DE/JP lebih tinggi karena pajak dan saluran. Harga publik AUD/KRW belum secara luas diposting.

Kembali lagi, mari kita bandingkan harga untuk GPU konsumen tingkat atas yang cocok untuk LLM khususnya dan AI secara umum. Secara spesifik, saya sedang melihat harga RTX-5080 dan RTX-5090. Harganya sedikit turun.

Aplikasi pemantauan beban GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia segera merilis NVIDIA DGX Spark - superkomputer kecil AI berbasis arsitektur Blackwell dengan 128+GB RAM terpadu dan kinerja AI sebesar 1 PFLOPS. Perangkat yang menarik untuk menjalankan LLM.

Mari kita bandingkan harga untuk GPU konsumen tingkat atas yang cocok untuk LLM khususnya dan AI secara umum. Secara khusus, lihat harga RTX 5080 dan RTX 5090. Mereka sedikit turun.

Hanya 3 bulan yang lalu kita tidak melihat RTX 5090 di toko, dan sekarang mereka sudah ada, tetapi harganya sedikit lebih tinggi dari MRSP. Mari kita bandingkan harga terendah RTX 5080 dan RTX 5090 di Australia dan lihat bagaimana perkembangannya.

Sistem otomasi terbaik untuk beberapa pekerjaan luar biasa.

Bagaimana Jalur PCIe Mempengaruhi Kinerja LLM? Tergantung pada tugasnya. Untuk pelatihan dan inferensi multi-GPU — penurunan kinerja sangat signifikan.

Saya terkena masalah ini dengan sangat keras. Namun, Anda sebaiknya menyelidiki dan menguji PC Anda jika BSOD Anda mirip dengan milik saya.
Penyebabnya adalah Masalah Degradasi CPU Intel pada Generasi ke-13 dan ke-14.

Saya punya teori untuk diuji - jika memanfaatkan semua inti pada CPU Intel akan meningkatkan kecepatan LLM? Ini mengganggu saya bahwa model baru gemma3 27 bit (gemma3:27b, 17GB pada ollama) tidak masuk ke dalam VRAM 16GB GPU saya, dan sebagian berjalan di CPU.

Dalam tengah-tengah kekacauan dunia modern ini, di sini saya membandingkan spesifikasi teknis dari berbagai kartu yang cocok untuk tugas AI
(Deep Learning,
Object Detection
dan LLMs).
Mereka semua sangat mahal meskipun demikian.