Self-Hosting

Kembali lagi, mari kita bandingkan harga untuk GPU konsumen tingkat atas yang cocok untuk LLM khususnya dan AI secara umum. Secara spesifik, saya sedang melihat harga RTX-5080 dan RTX-5090. Harganya sedikit turun.

Model GPT-OSS Ollama memiliki masalah berulang dalam menangani output terstruktur, terutama ketika digunakan dengan kerangka kerja seperti LangChain, OpenAI SDK, vllm, dan lainnya.

Model Bahasa Besar (LLMs) sangat kuat, tetapi dalam produksi kita jarang ingin paragraf bebas. Sebaliknya, kita ingin data yang dapat diprediksi: atribut, fakta, atau objek terstruktur yang dapat Anda masukkan ke dalam aplikasi. Itu adalah Keluaran Terstruktur LLM.

Untuk penggemar KDE Plasma, dua distribusi Linux yang sering muncul dalam diskusi adalah: Kubuntu dan KDE Neon. Mereka mungkin terlihat mirip - keduanya menyertakan KDE Plasma sebagai desktop default, keduanya berbasis Ubuntu, dan keduanya ramah bagi pengguna baru.

Di sini saya membandingkan berapa banyak VRAM versi baru Ollama yang dialokasikan untuk model dengan versi sebelumnya Ollama. Versi baru justru lebih buruk.

Panduan ini akan membawa Anda melalui proses mengubah alamat IP statis pada Ubuntu Server.

Ollama dengan cepat menjadi salah satu alat paling populer untuk menjalankan LLM secara lokal. CLI yang sederhana dan manajemen model yang terintegrasi telah membuatnya menjadi pilihan utama bagi pengembang yang ingin bekerja dengan model AI di luar awan. Namun, seperti halnya dengan banyak platform yang menjanjikan, sudah ada tanda-tanda Enshittification:

Mumble adalah aplikasi voice over IP (VoIP) berbasis lisensi bebas dan sumber terbuka yang dirancang utamanya untuk komunikasi suara real-time. Aplikasi ini menggunakan arsitektur klien-server di mana pengguna terhubung ke server bersama untuk berbicara satu sama lain.

Ollama yang dihosting secara lokal memungkinkan Anda menjalankan model bahasa besar di mesin Anda sendiri, tetapi menggunakan Ollama melalui baris perintah tidak ramah pengguna.
Berikut beberapa proyek open-source yang menyediakan antarmuka gaya ChatGPT yang menghubungkan ke Ollama lokal.

Aplikasi pemantauan beban GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Berikut adalah panduan langkah demi langkah untuk instalasi cluster K3s 3-node pada server bare-metal (1 master + 2 worker).

Membandingkan distribusi self-hosting Kubernetes untuk hosting di bare-metal atau server rumah, dengan fokus pada kemudahan instalasi, kinerja, persyaratan sistem, dan set fitur.

Saya sedang membandingkan variasi Kubernetes self-hosted yang cocok untuk homelab berbasis Ubuntu dengan 3 node (16 GB RAM, 4 inti CPU masing-masing), dengan fokus pada kemudahan pengaturan dan pemeliharaan, dukungan untuk persistent volumes dan LoadBalancers.

GitHub Actions
adalah platform otomatisasi dan CI/CD dalam GitHub, digunakan untuk membangun, menguji, dan mendeploy kode Anda berdasarkan kejadian seperti push, pull request, atau jadwal tertentu.

Berikut adalah Docker Compose cheatsheet dengan contoh yang dilengkapi untuk membantu Anda menguasai file dan perintah Compose dengan cepat.