Self-Hosting

Ollama dengan cepat menjadi salah satu alat paling populer untuk menjalankan LLM secara lokal. CLI yang sederhana dan manajemen model yang terintegrasi telah membuatnya menjadi pilihan utama bagi pengembang yang ingin bekerja dengan model AI di luar awan. Namun, seperti halnya dengan banyak platform yang menjanjikan, sudah ada tanda-tanda Enshittification:

Mumble adalah aplikasi voice over IP (VoIP) berbasis lisensi bebas dan sumber terbuka yang dirancang utamanya untuk komunikasi suara real-time. Aplikasi ini menggunakan arsitektur klien-server di mana pengguna terhubung ke server bersama untuk berbicara satu sama lain.

Ollama yang dihosting secara lokal memungkinkan Anda menjalankan model bahasa besar di mesin Anda sendiri, tetapi menggunakan Ollama melalui baris perintah tidak ramah pengguna.
Berikut beberapa proyek open-source yang menyediakan antarmuka gaya ChatGPT yang menghubungkan ke Ollama lokal.

Aplikasi pemantauan beban GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Berikut adalah panduan langkah demi langkah untuk instalasi cluster K3s 3-node pada server bare-metal (1 master + 2 worker).

Membandingkan distribusi self-hosting Kubernetes untuk hosting di bare-metal atau server rumah, dengan fokus pada kemudahan instalasi, kinerja, persyaratan sistem, dan set fitur.

Saya sedang membandingkan variasi Kubernetes self-hosted yang cocok untuk homelab berbasis Ubuntu dengan 3 node (16 GB RAM, 4 inti CPU masing-masing), dengan fokus pada kemudahan pengaturan dan pemeliharaan, dukungan untuk persistent volumes dan LoadBalancers.

GitHub Actions
adalah platform otomatisasi dan CI/CD dalam GitHub, digunakan untuk membangun, menguji, dan mendeploy kode Anda berdasarkan kejadian seperti push, pull request, atau jadwal tertentu.

Berikut adalah Docker Compose cheatsheet dengan contoh yang dilengkapi untuk membantu Anda menguasai file dan perintah Compose dengan cepat.

Berikut adalah penjelasan terperinci tentang
Obsidian sebagai alat yang kuat untuk manajemen pengetahuan pribadi (PKM),
yang menjelaskan arsitektur, fitur, kekuatan, dan bagaimana cara Obsidian mendukung alur kerja pengetahuan modern.

Nvidia segera merilis NVIDIA DGX Spark - superkomputer kecil AI berbasis arsitektur Blackwell dengan 128+GB RAM terpadu dan kinerja AI sebesar 1 PFLOPS. Perangkat yang menarik untuk menjalankan LLM.

Mari kita lihat secara cepat beberapa penyedia dan sistem analitik web seperti Matomo, Plausible, google dan lainnya yang tersedia untuk self-hosting dan bandingkan mereka.

Berikut adalah langkah-langkah favorit saya saat melakukan instalasi baru Ubuntu 24.04. Apa yang saya sukai di sini adalah tidak perlu menginstal driver NVidia! Mereka terinstal secara otomatis.

Dokuwiki adalah wiki yang dihosting sendiri (selfhosted) yang dapat dengan mudah dihosting di lokasi sendiri dan tidak memerlukan database apa pun.
Saya sedang menjalankannya dengan menggunakan Docker, di cluster Kubernetes saya.

Mari kita bandingkan harga untuk GPU konsumen tingkat atas yang cocok untuk LLM khususnya dan AI secara umum. Secara khusus, lihat harga RTX 5080 dan RTX 5090. Mereka sedikit turun.

Apache Airflow adalah platform open-source yang dirancang untuk membuat, menjadwalkan, dan memantau alur kerja secara programatis, seluruhnya dalam kode Python, menawarkan alternatif fleksibel dan kuat terhadap alat alur kerja tradisional, manual, atau berbasis UI.