LLM

نماذج GPT-OSS الخاصة بـ Ollama تعاني من مشاكل متكررة في التعامل مع الإخراج المهيكل، خاصة عند استخدامها مع الإطارات مثل LangChain، OpenAI SDK، vllm وغيرها.

هنا مقارنة دعم جانبي بين الإخراج المهيكل (الحصول على JSON موثوق به) عبر مزودي LLM الشائعة, مع أمثلة بسيطة جداً من Python

النماذج الكبيرة للغة (LLMs) قوية، ولكن في الإنتاج نادراً ما نريد فقرات حرة. بدلاً من ذلك، نريد بيانات قابلة للتنبؤ: خصائص، حقائق، أو كائنات منظمة يمكنك إدخالها في تطبيق. هذا هو مخرجات LLM المنظمة.

هنا أقارن كمية الـVRAM التي تخصصها الإصدار الجديد من Ollama للموديل مع الإصدار السابق من Ollama. الإصدار الجديد أسوأ.

Ollama أصبح من بين الأدوات الأكثر شعبية بسرعة لتشغيل نماذج LLM محليًا. بواجهة سطر الأوامر البسيطة وإدارة النماذج المبسطة، أصبحت خيارًا مفضلاً للمطورين الذين يريدون العمل مع نماذج الذكاء الاصطناعي خارج السحابة. لكن كما هو الحال مع منصات واعدة كثيرة، هناك مؤشرات مبكرة على Enshittification:

يتيح Ollama المضيف محليًا تشغيل نماذج لغات كبيرة على جهازك الخاص، ولكن استخدامه عبر سطر الأوامر ليس ودودًا للمستخدم.
هناك عدة مشاريع مفتوحة المصدر توفر واجهات تشبه ChatGPT تربط مع Ollama المحلي.

نvidia على وشك إصدار NVIDIA DGX Spark - جهاز كمبيوتر صغير جداً لتشغيل الذكاء الاصطناعي بناءً على بنية Blackwell مع 128+ جيجابايت من الذاكرة الموحّدة و 1 PFLOPS من أداء الذكاء الاصطناعي. جهاز رائع لتشغيل نماذج الذكاء الاصطناعي الكبيرة (LLMs).

هنا لدينا وصف بروتوكول سياق النموذج (MCP)، ملاحظات قصيرة حول كيفية تنفيذ خادم MCP في Go، بما في ذلك هيكل الرسالة، ومواصفات البروتوكول.

بما أن Ollama القياسي لا يحتوي على واجهة برمجة تطبيقات (API) لترتيب النتائج (Rerank) مباشرة، فإنك ستحتاج إلى تنفيذ ترتيب النتائج باستخدام نموذج Qwen3 Reranker في GO من خلال إنشاء تمثيلات (embeddings) للزوجات (query-document) وتصنيفها.

في هذا الاختبار، أنا مقارنة كيف تترجم نماذج LLM المختلفة المضمنة في Ollama صفحات Hugo من الإنجليزية إلى الألمانية. ثلاث صفحات اختبرتها كانت على مواضيع مختلفة، وتحتوي على بعض العلامات المرجعية الجيدة مع بعض الهيكل: العناوين، والقوائم، والجداول، والروابط، وغيرها.

هذا المثال الصغير كود Go لترتيب المعاودة يدعو Ollama لإنشاء تضمينات للمستفسر ولكل وثيقة مرشحة، ثم ترتيبها تنازليًا حسب التشابه الكسبي.

النماذج Qwen3 Embedding و Reranker هي أحدث الإصدارات في عائلة Qwen، وتم تصميمها خصيصًا للمهام المتقدمة في تضمين النصوص، والبحث، والترتيب مرة أخرى.

كيف تؤثر مسارات PCIe على أداء النماذج الكبيرة؟ يعتمد ذلك على المهمة. بالنسبة للتدريب والتنبؤ متعدد GPUs - فإن انخفاض الأداء كبير.

في مكتبة نماذج Ollama هناك نماذج قادرة تحويل محتوى HTML إلى Markdown، وهو مفيد للمهام المتعلقة بتحويل المحتوى.

• البحث هو الأفضل للحصول على معلومات بسرعة ووضوح باستخدام الكلمات المفتاحية.
• البحث العميق يتفوق في فهم السياق والنية، مما يؤدي إلى نتائج أكثر صلة وشمولًا للأسئلة المعقدة.