अल्लामा मॉडल्स को अलग स्थान पर ले जाएं

ओलामा एलईएम मॉडल फ़ाइलें काफ़ी स्पेस लेती हैं

Page content

इंस्टॉल करने के बाद ओलामा को तुरंत नए स्थान पर संगठित करना बेहतर होगा, ताकि नए मॉडल खींचे जाने के बाद वे पुराने स्थान पर डाउनलोड न हों।

स्मार्ट लम्बा हैट में एक लम्बा सर्वर कमरे में कुछ कर रहा है

ओलामा के बारे में

ओलामा LLM AI मॉडल के लिए एक टेक्स्ट आधारित फ्रंटएंड है और इसके साथ एक एपीआई भी है जो इन्हें भी होस्ट कर सकता है।

ओलामा की इंस्टॉल करें

https://ollama.com/download पर जाएं

लिनक्स पर ओलामा की इंस्टॉल करने के लिए:

curl -fsSL https://ollama.com/install.sh | sh

विंडोज़ पर ओलामा के लिए पृष्ठ: https://ollama.com/download/windows मैक के लिए ओलामा भी है: https://ollama.com/download/macOllamaSetup.exe

ओलामा मॉडल के डाउनलोड, सूचीबद्ध और हटाना

कुछ ओलामा मॉडल डाउनलोड करने के लिए: ओलामा लाइब्रेरी (https://ollama.com/library) पर जाएं और आपको आवश्यक मॉडल ढूंढें, वहां आप मॉडल टैग और आकार भी पा सकते हैं।

फिर चलाएं:

ollama pull gemma2:latest

# या थोड़ा अधिक बुद्धिमान वाला भी अच्छे तरीके से 16GB VRAM में फिट होता है:
ollama pull gemma2:27b-instruct-q3_K_S

# या:
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

ओलामा के स्थानीय रिपॉजिटरी में कौन से मॉडल हैं जांचने के लिए:

ollama list

कुछ अप्रयोगी मॉडल हटाने के लिए:

ollama rm qwen2:7b-instruct-q8_0 # उदाहरण के लिए

ओलामा मॉडल स्थान

कम्प्यूटर पर डिफ़ॉल्ट रूप से मॉडल फ़ाइलें संग्रहित होती हैं:

  • विंडोज़: C:\Users%username%.ollama\models
  • लिनक्स: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

विंडोज़ पर ओलामा मॉडल पथ के संगठन

विंडोज़ पर एक वातावरण चर बनाने के लिए आप इन निर्देशों का पालन कर सकते हैं:

  • विंडोज़ सेटिंग्स खोलें।
  • सिस्टम पर जाएं।
  • डिटेल्स पर क्लिक करें।
  • उन्नत सिस्टम सेटिंग्स पर क्लिक करें।
  • उन्नत टैब पर जाएं।
  • वातावरण चर के लिए चुनें।
  • नया बनाएं।
  • और एक चर बनाएं जिसका नाम OLLAMA_MODELS है जो आप मॉडलों को संग्रहित करना चाहते हैं।

लिनक्स पर ओलामा मॉडल के स्थानांतरण

ओलामा के सिस्टमडी विकास सेवा पैरामीटर्स को संपादित करें

sudo systemctl edit ollama.service

या

sudo xed /etc/systemd/system/ollama.service

यह एक संपादक खोल देगा।

प्रत्येक वातावरण चर के लिए, [सेवा] अनुभाग के तहत एक पंक्ति जोड़ें:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

सहेजें और बाहर निकलें।

एक उपयोगकर्ता और समूह पैरामीटर्स भी हैं, जो इस फ़ोल्डर के अक्सेस के लिए आवश्यक हैं।

सिस्टमडी को फिर से लोड करें और ओलामा को फिर से शुरू करें:

sudo systemctl daemon-reload
sudo systemctl restart ollama

अगर कुछ गलत हो गया है

systemctl status ollama.service
sudo journalctl -u ollama.service

NTFS ओवरहेड पर फ़ाइलों के संग्रहण

कृपया ध्यान दें कि अगर आप लिनक्स चला रहे हैं और अपने मॉडलों को NTFS फ़ॉर्मेट के पार्टिशन पर रख रहे हैं, तो आपके मॉडलों के लोड करने में बहुत अधिक - 20% से अधिक धीमा हो जाएगा।

ntfs.mount cpu usage

विशिष्ट फ़ोल्डर में विंडोज़ पर ओलामा की इंस्टॉल करें

मॉडल के साथ

.\OllamaSetup.exe /DIR=D:\OllamaDir

आंतरिक नेटवर्क पर ओलामा एपीआई के खुले रखना

यहां आंतरिक का अर्थ स्थानीय नेटवर्क है।

सेवा संरचना में जोड़ें:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

उपयोगी लिंक