AI

Ollama के GPT-OSS मॉडल्स में संरचित आउटपुट को हैंडल करने में बार-बार समस्याएं आती हैं, विशेष रूप से जब उन्हें LangChain, OpenAI SDK, vllm जैसे फ्रेमवर्क्स के साथ उपयोग किया जाता है, और अन्य।

यहाँ एक साइड-बाय-साइड सपोर्ट तुलना है संरचित आउटपुट (विश्वसनीय JSON प्राप्त करना) लोकप्रिय LLM प्रदाताओं के बीच, साथ ही न्यूनतम Python उदाहरण

बड़े भाषा मॉडल (LLMs) शक्तिशाली हैं, लेकिन उत्पादन में हम आमतौर पर मुक्त-रूप पेराग्राफ नहीं चाहते। बजाय इसके, हम प्रत्याशित डेटा चाहते हैं: विशेषताएं, तथ्य, या संरचित वस्तुएं जिन्हें आप एक ऐप में फीड कर सकते हैं। यह है LLM संरचित आउटपुट।

मैं नए ओल्लामा संस्करण में मॉडल के लिए आवंटित VRAM की तुलना (Ollama VRAM allocation) पुराने संस्करण के साथ कर रहा हूँ। नया संस्करण खराब है।

Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:

स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।

यहाँ एक अपडेटेड GitHub Copilot चीयट शीट है, जिसमें Visual Studio Code और Copilot Chat के लिए आवश्यक शॉर्टकट, कमांड, उपयोग टिप्स, और कॉन्टेक्स्ट फीचर्स शामिल हैं

द प्रैग्मैटिक इंजीनियर लेटर ने कुछ दिन पहले एक सर्वेक्षण प्रकाशित किया जिसमें 2025 के मध्य के लिए प्रोग्रामिंग भाषाओं, IDEs, AI टूल्स और अन्य डेटा की लोकप्रियता के आंकड़े शामिल हैं।

एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।

यहाँ मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) का वर्णन है, जिसमें Go में एक MCP सर्वर का कार्यान्वयन के बारे में संक्षिप्त नोट्स शामिल हैं, जिसमें संदेश संरचना और प्रोटोकॉल विनिर्देश शामिल हैं।

चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।

एक ठंडे जुलाई के दिन… जो कि ऑस्ट्रेलिया में होता है… मुझे एक एआई मॉडल ट्रेन करने की तत्काल आवश्यकता महसूस हुई जो अनकैप्ड कंक्रीट रीइनफोर्समेंट बार्स को पहचान सके…

इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।

यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।

आधुनिक दुनिया के अस्थिरता के बीच यहाँ मैं विभिन्न कार्ड के तकनीकी विशेषताओं की तुलना कर रहा हूँ, जो AI कार्यों के लिए उपयुक्त हैं
(डीप लर्निंग,
ऑब्जेक्ट डिटेक्शन
और LLMs।
हालाँकि, वे सभी बहुत महंगे हैं।