Ollama

قمت بتحليل بعض الاختبارات المثيرة للاهتمام حول أداء نموذج GPT-OSS 120b أثناء تشغيله على Ollama عبر ثلاث منصات مختلفة: NVIDIA DGX Spark، وMac Studio، وRTX 4080. يبلغ حجم نموذج GPT-OSS 120b من مكتبة Ollama 65 جيجابايت، مما يعني أنه لا يمكن أن يناسب الـ 16 جيجابايت من ذاكرة الفيديو (VRAM) الخاصة بـ RTX 4080 (أو النسخة الأحدث RTX 5080).

تشغيل نماذج لغة كبيرة (LLMs) محليًا أصبح أكثر شيوعًا من أجل الخصوصية، والتحكم في التكاليف، والقدرات خارج الإنترنت. تغير المشهد بشكل كبير في أبريل 2025 عندما أدخلت Docker Docker Model Runner (DMR)، حلها الرسمي لنشر النماذج الذكية الاصطناعية.

هذا الدليل يقدم لمحة شاملة عن مكتبات Go SDK المتاحة لـ Ollama ويقارن مجموعات ميزاتها.

هنا مقارنة بين Qwen3:30b و GPT-OSS:20b
متركزة على اتباع التعليمات والمؤشرات الأداء، المواصفات والسرعة:

في هذا المقال، سنستكشف طريقتين لربط تطبيقك Python مع Ollama: 1. عبر HTTP REST API; 2. عبر المكتبة الرسمية لـ Ollama لـ Python.

نماذج GPT-OSS الخاصة بـ Ollama تعاني من مشاكل متكررة في التعامل مع الإخراج المهيكل، خاصة عند استخدامها مع الإطارات مثل LangChain، OpenAI SDK، vllm وغيرها.

النماذج الكبيرة للغة (LLMs) قوية، ولكن في الإنتاج نادراً ما نريد فقرات حرة. بدلاً من ذلك، نريد بيانات قابلة للتنبؤ: خصائص، حقائق، أو كائنات منظمة يمكنك إدخالها في تطبيق. هذا هو مخرجات LLM المنظمة.

هنا أقارن كمية الـVRAM التي تخصصها الإصدار الجديد من Ollama للموديل مع الإصدار السابق من Ollama. الإصدار الجديد أسوأ.

Ollama أصبح من بين الأدوات الأكثر شعبية بسرعة لتشغيل نماذج LLM محليًا. بواجهة سطر الأوامر البسيطة وإدارة النماذج المبسطة، أصبحت خيارًا مفضلاً للمطورين الذين يريدون العمل مع نماذج الذكاء الاصطناعي خارج السحابة. لكن كما هو الحال مع منصات واعدة كثيرة، هناك مؤشرات مبكرة على Enshittification:

يتيح Ollama المضيف محليًا تشغيل نماذج لغات كبيرة على جهازك الخاص، ولكن استخدامه عبر سطر الأوامر ليس ودودًا للمستخدم.
هناك عدة مشاريع مفتوحة المصدر توفر واجهات تشبه ChatGPT تربط مع Ollama المحلي.

بما أن Ollama القياسي لا يحتوي على واجهة برمجة تطبيقات (API) لترتيب النتائج (Rerank) مباشرة، فإنك ستحتاج إلى تنفيذ ترتيب النتائج باستخدام نموذج Qwen3 Reranker في GO من خلال إنشاء تمثيلات (embeddings) للزوجات (query-document) وتصنيفها.

في هذا الاختبار، أنا مقارنة كيف تترجم نماذج LLM المختلفة المضمنة في Ollama صفحات Hugo من الإنجليزية إلى الألمانية. ثلاث صفحات اختبرتها كانت على مواضيع مختلفة، وتحتوي على بعض العلامات المرجعية الجيدة مع بعض الهيكل: العناوين، والقوائم، والجداول، والروابط، وغيرها.

هذا المثال الصغير كود Go لترتيب المعاودة يدعو Ollama لإنشاء تضمينات للمستفسر ولكل وثيقة مرشحة، ثم ترتيبها تنازليًا حسب التشابه الكسبي.

النماذج Qwen3 Embedding و Reranker هي أحدث الإصدارات في عائلة Qwen، وتم تصميمها خصيصًا للمهام المتقدمة في تضمين النصوص، والبحث، والترتيب مرة أخرى.

كيف تؤثر مسارات PCIe على أداء النماذج الكبيرة؟ يعتمد ذلك على المهمة. بالنسبة للتدريب والتنبؤ متعدد GPUs - فإن انخفاض الأداء كبير.

في مكتبة نماذج Ollama هناك نماذج قادرة تحويل محتوى HTML إلى Markdown، وهو مفيد للمهام المتعلقة بتحويل المحتوى.