Ollama

मैंने कुछ दिलचस्प प्रदर्शन परीक्षणों का पता लगाया है GPT-OSS 120b का जो Ollama पर चल रहा है, तीन अलग-अलग प्लेटफॉर्मों पर: NVIDIA DGX Spark, Mac Studio, और RTX 4080। Ollama लाइब्रेरी का GPT-OSS 120b मॉडल 65GB का है, जिसका मतलब है कि यह RTX 4080 के 16GB VRAM में नहीं फिट होता है (या नए RTX 5080).

स्थानीय रूप से बड़े भाषा मॉडल (LLMs) चलाना अब गोपनीयता, लागत नियंत्रण, और ऑफ़लाइन क्षमताओं के लिए increasingly popular हो गया है। अप्रैल 2025 में, जब Docker ने Docker Model Runner (DMR) पेश किया, तो परिदृश्य महत्वपूर्ण रूप से बदल गया, जो AI मॉडल डिप्लॉयमेंट के लिए इसका आधिकारिक समाधान है।

यह गाइड उपलब्ध Go SDKs for Ollama के विस्तृत समीक्षा प्रदान करता है और उनके विशेषताओं के सेट की तुलना करता है।

यहाँ Qwen3:30b और GPT-OSS:20b के बीच तुलना है, जो निर्देश पालन और प्रदर्शन पैरामीटर्स, स्पेसिफिकेशन्स और गति पर केंद्रित है:

इस पोस्ट में, हम दो तरीकों का पता लगाएंगे जिससे आप अपने Python एप्लिकेशन को Ollama से कनेक्ट कर सकते हैं: 1. HTTP REST API के माध्यम से; 2. अधिकृत Ollama Python लाइब्रेरी के माध्यम से।

Ollama के GPT-OSS मॉडल्स में संरचित आउटपुट को हैंडल करने में बार-बार समस्याएं आती हैं, विशेष रूप से जब उन्हें LangChain, OpenAI SDK, vllm जैसे फ्रेमवर्क्स के साथ उपयोग किया जाता है, और अन्य।

बड़े भाषा मॉडल (LLMs) शक्तिशाली हैं, लेकिन उत्पादन में हम आमतौर पर मुक्त-रूप पेराग्राफ नहीं चाहते। बजाय इसके, हम प्रत्याशित डेटा चाहते हैं: विशेषताएं, तथ्य, या संरचित वस्तुएं जिन्हें आप एक ऐप में फीड कर सकते हैं। यह है LLM संरचित आउटपुट।

मैं नए ओल्लामा संस्करण में मॉडल के लिए आवंटित VRAM की तुलना (Ollama VRAM allocation) पुराने संस्करण के साथ कर रहा हूँ। नया संस्करण खराब है।

Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:

स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।

चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।

इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।

यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।

Qwen3 Embedding और Reranker मॉडल Qwen परिवार के नवीनतम रिलीज हैं, जो उन्नत पाठ एम्बेडिंग, पुनर्प्राप्ति और पुनर्क्रमण कार्यों के लिए विशेष रूप से डिज़ाइन किए गए हैं।

PCIe चैनल कैसे LLM के कार्यक्षमता पर प्रभाव डालते हैं? कार्य पर निर्भर करता है। प्रशिक्षण और बहु-GPU अनुमान लगाने के लिए - कार्यक्षमता में गिरावट महत्वपूर्ण होती है।

ओलामा मॉडल पुस्तकालय में ऐसे मॉडल हैं जो HTML कंटेंट को मार्कडाउन में परिवर्तित कर सकते हैं के लिए उपयोगी हैं, जो कंटेंट परिवर्तन कार्यों के लिए उपयोगी हैं।