Ollama से संरचित आउटपुट प्राप्त करने के कुछ तरीके
बड़े भाषा मॉडल (LLMs) शक्तिशाली हैं, लेकिन उत्पादन में हम आमतौर पर मुक्त-रूप पेराग्राफ नहीं चाहते। बजाय इसके, हम प्रत्याशित डेटा चाहते हैं: विशेषताएं, तथ्य, या संरचित वस्तुएं जिन्हें आप एक ऐप में फीड कर सकते हैं। यह है LLM संरचित आउटपुट।
अपना खुद का परीक्षण ओलामा मॉडल शेड्यूलिंग
मैं नए ओल्लामा संस्करण में मॉडल के लिए आवंटित VRAM की तुलना (Ollama VRAM allocation) पुराने संस्करण के साथ कर रहा हूँ। नया संस्करण खराब है।
ओल्लामा विकास के वर्तमान स्थिति पर मेरा दृष्टिकोण
Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:
2025 में ओल्लामा के लिए सबसे प्रमुख यूआई का त्वरित अवलोकन
स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।
सॉफ्टवेयर इंजीनियरिंग उपकरणों और भाषाओं की तुलना
द प्रैग्मैटिक इंजीनियर लेटर ने कुछ दिन पहले एक सर्वेक्षण प्रकाशित किया जिसमें 2025 के मध्य के लिए प्रोग्रामिंग भाषाओं, IDEs, AI टूल्स और अन्य डेटा की लोकप्रियता के आंकड़े शामिल हैं।
जुलाई 2025 में, जल्द ही यह उपलब्ध हो जाना चाहिए
एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।
RAG को लागू कर रहे हैं? यहाँ कुछ Go कोड टुकड़े हैं - 2...
चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।
कुछ समय पहले मैंने ऑब्जेक्ट डिटेक्टर AI को ट्रेन किया था
एक ठंडे जुलाई के दिन… जो कि ऑस्ट्रेलिया में होता है… मुझे एक एआई मॉडल ट्रेन करने की तत्काल आवश्यकता महसूस हुई जो अनकैप्ड कंक्रीट रीइनफोर्समेंट बार्स को पहचान सके…
qwen3 8b, 14b और 30b, devstral 24b, mistral small 24b
इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।
आपका प्रश्न
यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।
एलईएम के लिए दूसरे जीपीयू की宣安装 के बारे में सोच रहे हैं?
PCIe चैनल कैसे LLM के कार्यक्षमता पर प्रभाव डालते हैं? कार्य पर निर्भर करता है। प्रशिक्षण और बहु-GPU अनुमान लगाने के लिए - कार्यक्षमता में गिरावट महत्वपूर्ण होती है।
एचटीएमएल से पाठ निकालने के लिए एलईएम का उपयोग करें...
ओलामा मॉडल पुस्तकालय में ऐसे मॉडल हैं जो HTML कंटेंट को मार्कडाउन में परिवर्तित कर सकते हैं के लिए उपयोगी हैं, जो कंटेंट परिवर्तन कार्यों के लिए उपयोगी हैं।
वे कितने अलग हैं?
कर्सर AI विरुद्ध GitHub कॉपिलाईट विरुद्ध Kline AI विरुद्ध...
यहाँ कुछ AI सहायक निर्माण उपकरणों और AI Coding Assistants तथा उनके अच्छे पक्षों की सूची है।
एलएलएम प्रदाताओं की संक्षिप्त सूची
एलएलएम का उपयोग करना बहुत महंगा नहीं है, नई शानदार जीपीयू खरीदने की आवश्यकता नहीं हो सकती। यहाँ क्लाउड में एलएलएम प्रदाताओं की सूची है जिनके पास वे एलएलएम होस्ट करते हैं।
ओलामा इंटेल सीपीयू पर दक्षता वाले कोर्स बनाम प्रदर्शन कोर्स
मेरे पास एक सिद्धांत है जिसे परीक्षण करना है - अगर इंटेल के CPU पर सभी कोर का उपयोग करने से LLMs की गति बढ़ेगी? (परीक्षण: ओलामा कैसे इंटेल CPU के प्रदर्शन और कुशल कोर का उपयोग करता है)
यह मुझे चिंता कर रहा है कि नए gemma3 27 बिट मॉडल (gemma3:27b, 17GB ओलामा पर) मेरे GPU के 16GB VRAM में फिट नहीं हो रहा है और इसके कुछ हिस्सा CPU पर चल रहा है।
