نموذج تخصيص الذاكرة في جدولة إصدار Ollama الجديد - v0.12.1

اختباري الخاص لجدولة نموذج ollama ````

Page content

هنا أقارن كمية الـVRAM التي تخصصها الإصدار الجديد من Ollama للموديل مع الإصدار السابق من Ollama. الإصدار الجديد أسوأ.

كما ذُكر على الموقع الرسمي فإن الإصدار الجديد من Ollama يحتوي على جدولة نماذج جديدة مع

تخصيص الـGPU بشكل فعال:
تخصيص إدارة الذاكرة الجديدة في Ollama تخصص المزيد من الذاكرة للـGPU،
مما يزيد سرعة إنشاء الرموز وسرعة المعالجة

وتم تقديم بعض الأمثلة، على سبيل المثال:

سياق طويل

    GPU: 1x NVIDIA GeForce RTX 4090
    النموذج: gemma3:12b
    طول السياق: 128k

القديم                                   الجديد
52.02 رموز/ثانية سرعة إنشاء الرموز 85.54 رموز/ثانية سرعة إنشاء الرموز
19.9 جيغا بايت من الـVRAM                       21.4 جيغا بايت من الـVRAM
48⁄49 طبقات تُحمل على الـGPU            49⁄49 طبقات تُحمل على الـGPU

هنا أقوم باختبار كيف يعمل على جهازي. نتائجي مختلفة تمامًا عن الاختبارات الرسمية، فهي معاكسة تمامًا. لدي تكوين مختلف قليلاً للعتاد وقمت بتجربة نماذج مختلفة، ولكن النتائج ليست أفضل على الإطلاق، وغالبًا أسوأ. هذا يعيد تكرار المنشور عن العلامات الأولى لـ Ollama Enshittification.

ollama llamas هذا الصورة من المنشور على موقع Ollama.

TL;DR

لقد قمت بتجربة كيف يتعامل الإصدار الجديد من Ollama بجدولة النماذج الكبيرة التي لا تتناسب مع 16 جيغا بايت من الـVRAM لدي.

  • mistral-small3.2:24b
  • qwen3:30b-a3b
  • gemma3:27b
  • qwen3:32b

كنت أقوم بتشغيل ollama run <modelname>، ثم طرح سؤال بسيط مثل من أنت؟، وقمت بفحص نتيجة ollama ps وnvidia-smi في نافذة مستقلة. كل شيء بسيط جدًا.

فقط نموذج qwen3:30b-a3b أظهر نفس توزيع المعالج/الـGPU، بينما النماذج الثلاثة الأخرى تم توجيهها أكثر إلى المعالج في الإصدار الجديد. في اختباراتي، إلى حزنّي، الإصدار الجديد من Ollama أسوأ، وهذه النتائج تتعارض مع المنشور على مدونة Ollama.

مقارنة تفصيلية للبيانات

النموذج الذاكرة المخصصة في الإصدار القديم توزيع المعالج/الـGPU القديم الذاكرة المخصصة في الإصدار الجديد توزيع المعالج/الـGPU الجديد
mistral-small3.2:24b 14489MiB 41%/59% 14249MiB 44%/56%
qwen3:30b-a3b 15065MiB 21%/79% 14867MiB 21%/79%
gemma3:27b 13771MiB 28%/72% 14817MiB 29%/71%
qwen3:32b 14676MiB 30%/70% 15139MiB 32%/68%

مليء بالخيبة.

روابط مفيدة