Self-Hosting

Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:

Mumble एक मुक्त और ओपन-सोर्स वॉइस ओवर IP (VoIP) एप्लिकेशन है जो मुख्य रूप से रियल-टाइम वॉइस कम्युनिकेशन के लिए डिज़ाइन किया गया है। यह एक क्लाइंट-सर्वर आर्किटेक्चर का उपयोग करता है जहाँ उपयोगकर्ता एक साझा सर्वर से जुड़ते हैं ताकि एक दूसरे से बात कर सकें।

स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।

GPU लोड मॉनिटरिंग एप्लिकेशन्स: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

यहाँ एक 3-नोड K3s क्लस्टर की स्थापना का चरण-दर-चरण मार्गदर्शन है, जो बेयर-मेटल सर्वर पर किया जाता है (1 मास्टर + 2 वर्कर्स)।

बेयर-मेटल या होम सर्वर पर होस्ट करने के लिए सेल्फ-होस्टिंग कubernates वितरणों की तुलना, विशेष रूप से इंस्टॉलेशन की आसानी, प्रदर्शन, सिस्टम आवश्यकताओं और फीचर सेट पर ध्यान केंद्रित करते हुए।

मैं स्व-होस्टेड क्यूबर्नेट्स वैरिएंट्स की तुलना कर रहा हूँ जो यूबंटू-आधारित होमलैब के लिए उपयुक्त हैं जिसमें 3 नोड्स हैं (प्रत्येक में 16GB RAM, 4 कोर), जिसमें सेटअप और रखरखाव की आसानी, पर्सिस्टेंट वॉल्यूम्स और लोडबालेंसर का समर्थन पर ध्यान केंद्रित किया गया है।

GitHub Actions GitHub का एक स्वचालन और CI/CD प्लेटफॉर्म है, जो कोड को पुश, पुल रिक्वेस्ट, या एक अनुसूची के आधार पर बनाना, परीक्षण करना और तैनात करना के लिए उपयोग किया जाता है।

यहाँ एक Docker Compose चिट्ठी उदाहरणों के साथ एनोटेटेड है जो आपको Compose फाइलों और कमांड्स को तेज़ी से मास्टर करने में मदद करेगा।

यहाँ Obsidian को एक शक्तिशाली उपकरण के रूप में व्यक्तिगत ज्ञान प्रबंधन (PKM) के लिए एक विस्तृत विवरण है, जिसमें इसकी वास्तुकला, विशेषताएं, मजबूत बिंदु और आधुनिक ज्ञान कार्यप्रवाहों का समर्थन करने के तरीके का वर्णन किया गया है।

एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।

हमें एक त्वरित नज़र डालें Matomo, Plausible, Google और अन्य वेब एनालिटिक्स प्रदाताओं और प्रणालियों पर जो स्व-होस्टिंग के लिए उपलब्ध हैं और उन्हें तुलना करें।

यह मेरा पसंदीदा सेट है जब Ubuntu 24.04 का ताजा इंस्टॉल किया जाता है। मुझे यहां यह पसंद है कि NVidia ड्राइवरों को इंस्टॉल करने की आवश्यकता नहीं है! वे स्वचालित रूप से इंस्टॉल हो जाते हैं।

डोकूविकी एक स्व-होस्टेड विकिपीडिया है जो आसानी से ऑन-प्रिमाइसेज होस्ट किया जा सकता है और किसी भी डेटाबेस की आवश्यकता नहीं होती है। मैं इसे डॉकराइज्ड, अपने पेट क्यूबर्नेट्स क्लस्टर पर चलाता था।

हमें ऑस्ट्रेलिया में उपभोक्ता ग्राफिक्स कार्डों की कीमतों की तुलना करें, जो विशेष रूप से एलएलएम और समग्र एआई के लिए उपयुक्त हैं। विशेष रूप से, आप RTX 5080 और RTX 5090 की कीमतों देखें। ये थोड़ी कम हो गई हैं।

Apache Airflow एक ओपन-सोर्स प्लेटफॉर्म है जो प्रोग्रामेटिकली लेखन, नियोजन और वर्कफ़्लो के मॉनिटरिंग के लिए डिज़ाइन किया गया है, पूरी तरह से पायथन कोड में, जो पारंपरिक, मनमाने या यूआई-आधारित वर्कफ़्लो उपकरणों के लिए एक लचीला और शक्तिशाली विकल्प प्रदान करता है।