نموذج تخصيص الذاكرة في جدولة إصدار Ollama الجديد - v0.12.1
اختباري الخاص لجدولة نموذج ollama ````
هنا أقارن كمية الـVRAM التي تخصصها الإصدار الجديد من Ollama للموديل مع الإصدار السابق من Ollama. الإصدار الجديد أسوأ.
كما ذُكر على الموقع الرسمي فإن الإصدار الجديد من Ollama يحتوي على جدولة نماذج جديدة
مع
تخصيص الـGPU بشكل فعال:
تخصيص إدارة الذاكرة الجديدة في Ollama تخصص المزيد من الذاكرة للـGPU،
مما يزيد سرعة إنشاء الرموز وسرعة المعالجة
وتم تقديم بعض الأمثلة، على سبيل المثال:
سياق طويل
GPU: 1x NVIDIA GeForce RTX 4090
النموذج: gemma3:12b
طول السياق: 128k
القديم الجديد
52.02 رموز/ثانية سرعة إنشاء الرموز 85.54 رموز/ثانية سرعة إنشاء الرموز
19.9 جيغا بايت من الـVRAM 21.4 جيغا بايت من الـVRAM
48⁄49 طبقات تُحمل على الـGPU 49⁄49 طبقات تُحمل على الـGPU
هنا أقوم باختبار كيف يعمل على جهازي. نتائجي مختلفة تمامًا عن الاختبارات الرسمية، فهي معاكسة تمامًا. لدي تكوين مختلف قليلاً للعتاد وقمت بتجربة نماذج مختلفة، ولكن النتائج ليست أفضل على الإطلاق، وغالبًا أسوأ. هذا يعيد تكرار المنشور عن العلامات الأولى لـ Ollama Enshittification.
هذا الصورة من المنشور على موقع Ollama.
TL;DR
لقد قمت بتجربة كيف يتعامل الإصدار الجديد من Ollama بجدولة النماذج الكبيرة التي لا تتناسب مع 16 جيغا بايت من الـVRAM لدي.
- mistral-small3.2:24b
- qwen3:30b-a3b
- gemma3:27b
- qwen3:32b
كنت أقوم بتشغيل ollama run <modelname>
، ثم طرح سؤال بسيط مثل من أنت؟
، وقمت بفحص نتيجة ollama ps
وnvidia-smi
في نافذة مستقلة. كل شيء بسيط جدًا.
فقط نموذج qwen3:30b-a3b أظهر نفس توزيع المعالج/الـGPU، بينما النماذج الثلاثة الأخرى تم توجيهها أكثر إلى المعالج في الإصدار الجديد. في اختباراتي، إلى حزنّي، الإصدار الجديد من Ollama أسوأ، وهذه النتائج تتعارض مع المنشور على مدونة Ollama.
مقارنة تفصيلية للبيانات
النموذج | الذاكرة المخصصة في الإصدار القديم | توزيع المعالج/الـGPU القديم | الذاكرة المخصصة في الإصدار الجديد | توزيع المعالج/الـGPU الجديد |
---|---|---|---|---|
mistral-small3.2:24b | 14489MiB | 41%/59% | 14249MiB | 44%/56% |
qwen3:30b-a3b | 15065MiB | 21%/79% | 14867MiB | 21%/79% |
gemma3:27b | 13771MiB | 28%/72% | 14817MiB | 29%/71% |
qwen3:32b | 14676MiB | 30%/70% | 15139MiB | 32%/68% |
مليء بالخيبة.