Ollama

Ollama के GPT-OSS मॉडल्स में संरचित आउटपुट को हैंडल करने में बार-बार समस्याएं आती हैं, विशेष रूप से जब उन्हें LangChain, OpenAI SDK, vllm जैसे फ्रेमवर्क्स के साथ उपयोग किया जाता है, और अन्य।

बड़े भाषा मॉडल (LLMs) शक्तिशाली हैं, लेकिन उत्पादन में हम आमतौर पर मुक्त-रूप पेराग्राफ नहीं चाहते। बजाय इसके, हम प्रत्याशित डेटा चाहते हैं: विशेषताएं, तथ्य, या संरचित वस्तुएं जिन्हें आप एक ऐप में फीड कर सकते हैं। यह है LLM संरचित आउटपुट।

मैं नए ओल्लामा संस्करण में मॉडल के लिए आवंटित VRAM की तुलना (Ollama VRAM allocation) पुराने संस्करण के साथ कर रहा हूँ। नया संस्करण खराब है।

Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:

स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।

चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।

इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।

यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।

Qwen3 Embedding और Reranker मॉडल Qwen परिवार के नवीनतम रिलीज हैं, जो उन्नत पाठ एम्बेडिंग, पुनर्प्राप्ति और पुनर्क्रमण कार्यों के लिए विशेष रूप से डिज़ाइन किए गए हैं।

PCIe चैनल कैसे LLM के कार्यक्षमता पर प्रभाव डालते हैं? कार्य पर निर्भर करता है। प्रशिक्षण और बहु-GPU अनुमान लगाने के लिए - कार्यक्षमता में गिरावट महत्वपूर्ण होती है।

ओलामा मॉडल पुस्तकालय में ऐसे मॉडल हैं जो HTML कंटेंट को मार्कडाउन में परिवर्तित कर सकते हैं के लिए उपयोगी हैं, जो कंटेंट परिवर्तन कार्यों के लिए उपयोगी हैं।

यहाँ कुछ AI सहायक निर्माण उपकरणों और AI Coding Assistants तथा उनके अच्छे पक्षों की सूची है।

मेरे पास एक सिद्धांत है जिसे परीक्षण करना है - अगर इंटेल के CPU पर सभी कोर का उपयोग करने से LLMs की गति बढ़ेगी? (परीक्षण: ओलामा कैसे इंटेल CPU के प्रदर्शन और कुशल कोर का उपयोग करता है)
यह मुझे चिंता कर रहा है कि नए gemma3 27 बिट मॉडल (gemma3:27b, 17GB ओलामा पर) मेरे GPU के 16GB VRAM में फिट नहीं हो रहा है और इसके कुछ हिस्सा CPU पर चल रहा है।

जब Ollama सर्वर एक ही समय में दो अनुरोध प्राप्त करता है, तो इसका व्यवहार इसके विन्यास और उपलब्ध प्रणाली संसाधनों पर निर्भर करता है।

DeepSeek के पहले पीढ़ी के रीज़निंग मॉडल्स का परिचय, जो OpenAI-o1 के समान प्रदर्शन करते हैं, जिसमें छह घने मॉडल्स शामिल हैं जो DeepSeek-R1 पर आधारित हैं, जो Llama और Qwen से डिस्टिल किए गए हैं।