اختيار النموذج اللغوي الكبير المناسب لـ Cognee: إعداد Ollama محليًا

آراء حول نماذج LLM للنسخة المثبتة محليًا من Cognee

Page content

اختيار أفضل نموذج LLM لـ Cognee يتطلب موازنة جودة بناء الرسوم البيانية، معدلات التخيل، والقيود المادية. Cognee تتفوق مع النماذج الكبيرة ذات التخيل المنخفض (32B+) عبر Ollama ولكن الخيارات المتوسطة تعمل للاعدادات الخفيفة.

محاضرة في المكتبة

متطلبات Cognee الرئيسية

يعتمد Cognee على النموذج LLM لاستخراج الكيانات، والاستنتاج العلاقات، وتكوين البيانات الوصفية. النماذج الأقل من 32B غالبًا ما تنتج رسومًا بيانية ضوضائية، بينما التخيل المرتفع (مثل 90%+) يلوث العقد/الحواف، مما يقلل من الاسترجاع. توصي الوثائق الرسمية بـ deepseek-r1:32b أو llama3.3-70b-instruct-q3_K_M مع تضمين Mistral.

جدول مقارنة النماذج

النموذج المعلمات التخيل (SimpleQA/est.) VRAM (مُكمّن) نقاط القوة في Cognee الضعف
gpt-oss:20b 20B 91.4% ~16GB استنتاج سريع، استدعاء الأدوات تلوث كبير في الرسوم البيانية
Qwen3:14b 14B ~40-45% ~12-14GB فعالة على الأجهزة المعتدلة محدودة العمق للرسوم البيانية
Devstral Small 2 24B ~8-10% ~18-20GB التركيز على البرمجة، الكيانات النظيفة VRAM أعلى من Qwen3
Llama3.3-70b 70B ~30-40% ~40GB+ جودة الرسوم البيانية المثلى متطلبات الموارد الثقيلة
Deepseek-r1:32b 32B منخفض (الموصى به) ~24-32GB الأفضل في الاستنتاج/الرسوم البيانية أبطأ على GPUs المستهلكة

البيانات المجمعة من وثائق Cognee، بطاقات النماذج، والاختبارات، مستوى التخيل يبدو غير منطقي، لكنه قد يكون قريبًا من الواقع…

التوصيات حسب الأجهزة

  • عالية (32GB+ VRAM): Deepseek-r1:32b أو Llama3.3-70b. هذه تنتج أوضح الرسوم البيانية وفقًا لدليل Cognee.
  • متوسطة (16-24GB VRAM): Devstral Small 2. التخيل المنخفض والتركيز على البرمجة مناسبة للمهام المبنية على الذاكرة.
  • محدودة (12-16GB VRAM): Qwen3:14b بدلًا من gpt-oss:20b - تجنب أخطاء التخيل بنسبة 91%.
  • التفكير في تجنب gpt-oss:20b لـ Cognee؛ هناك ملاحظات أن أخطائها تتفاقم في بناء الرسوم البيانية غير المرشحة. ولكن سرعة الاستنتاج على GPU الخاص بي أسرع بمرتين…

إعداد سريع لـ Ollama + Cognee

# 1. سحب النموذج (مثلاً Devstral)
ollama pull devstral-small-2:24b  # أو qwen3:14b، إلخ.

# 2. تثبيت Cognee
pip install "cognee[ollama]"

# 3. المتغيرات البيئية
export LLM_PROVIDER="ollama"
export LLM_MODEL="devstral-small-2:24b"
export EMBEDDING_PROVIDER="ollama"
export EMBEDDING_MODEL="nomic-embed-text"  # 768 أبعاد
export EMBEDDING_DIMENSIONS=768

# 4. اختبار الرسم البياني
cognee add --file "your_data.txt" --name "test_graph"

التأكد من توافق أبعاد التضمين (مثلاً 768، 1024) عبر الإعدادات والخزين المتجهي. Qwen3 Embeddings (غير مثبتة في Cognee) يمكن أن تعمل بـ 1024-4096 أبعاد إذا دعمتها Ollama.

أولوية النماذج ذات التخيل المنخفض في أنظمة Cognee الإنتاجية - رسومك البيانية ستشكرك. جرب على أجهزتك وراقب ترابط الرسوم البيانية.

نماذج التضمين

لم أفكر كثيرًا في هذا الأمر، لكن إليك الجدول الذي جمعته للاستشارة المستقبلية

نموذج Ollama الحجم، GB أبعاد التضمين طول السياق
nomic-embed-text:latest 0.274 768 2k
jina-embeddings-v2-base-en:latest 0.274 768 8k
nomic-embed-text-v2-moe 0.958 768 512
qwen3-embedding:0.6b 0.639 1024 32K
qwen3-embedding:4b 2.5 2560 32K
qwen3-embedding:8b 4.7 4096 32K
avr/sfr-embedding-mistral:latest 4.4 4096 32K

روابط مفيدة