एलईएम फ्रंटएंड्स

कम विकल्प हैं लेकिन फिर भी....

Page content

जब मैंने LLMs के साथ प्रयोग शुरू किया तो उनके यूआई गतिशील विकास में थे और अब कुछ बहुत अच्छे हैं।

!- जन - LLMs के लिए मल्टीप्लेटफॉर्म यूआई(jan-site_w678.jpg जन - LLMs के लिए फ्रंटएंड - इंस्टॉल)

जन

  • जन(https://jan.ai/) विंडोज़, लिनक्स और मैक के लिए उपलब्ध है।

हल्के, गहरे और पारदर्शी थीम हैं।

!- जन LLM फ्रंटएंड - मुख्य विंडो(jan-self_w678.jpg जन - LLMs के लिए फ्रंटएंड - स्वयं आयोजित करने के लिए उत्तर का उदाहरण)

कई मौजूदा बैकएंड्स जैसे एंथ्रोपिक, कोहेर, ओपनएआई, नविडिया एनआईएम, मिस्ट्रलएआई आदि के साथ जोड़ सकता है, और अपने आप पर मॉडल आयोजित कर सकता है - नीचे के स्क्रीनशॉट पर देखें - जन द्वारा डाउनलोड किया गया और स्थानीय रूप से लम्बा3 8b q4 और फ़ि3 मीडियम (q4) होस्ट कर रहा है।

!- जन LLM फ्रंटएंड - कॉन्फ़िग विकल्प(jan-config_w678.jpg जन LLM फ्रंटएंड - कॉन्फ़िग विकल्प)

लाभ (जो मुझे पसंद आया):

  • अंतर्ज्ञात इंटरफ़ेस
  • मॉडल तापमान, टॉप, आवृत्ति और उपस्थिति दंड और सिस्टम प्रोम्प्ट के साथ प्रयोग करने की क्षमता।
  • एपीआई सर्वर प्रदान करता है

कमियां:

  • कुछ तरह से मेरे आधारित उबंटू ओएस पर धीमा। विंडोज़ पर यह ठीक चल रहा था।
  • कई बैकएंड्स के साथ जोड़ सकता है, लेकिन सभी व्यवस्थित हैं। ओलामा विकल्प का उपयोग करना अच्छा होता।
  • कॉर्टेक्स में स्वयं आयोजित करने के लिए मॉडल के विकल्प बहुत कम हैं। अपने आप के लिए क्वांटाइजेशन विकल्प भी बहुत कम हैं।
  • हां, ह्यूगिंगफेस गगुफ अद्भुत है। लेकिन मुझे चाहिए
    • ओलामा द्वारा पहले से डाउनलोड किया गया लोड कर वीआरएएम में दोहरा उपयोग करना
    • सभी जगह एक ही मॉडल आयोजित न करें

कोबोल्डएआई

कोबोल्डएआई

एक बहुत महत्वपूर्ण एक

सिली टेवर्न

सिली टेवर्न

एक और बहुत अधिक विविध एक

एलएलएम स्टूडियो

एलएलएम स्टूडियो मेरा पसंदीदा एलएलएम के लिए यूआई नहीं है, लेकिन ह्यूगिंगफेस मॉडल्स के लिए बेहतर पहुंच है।

कमांडलाइन ओलामा

हां, वह भी एक उपयोगकर्ता इंटरफ़ेस है, बस एक कमांडलाइन वाला।

लम्बा3.1 एलएलएम के लिए चलाने के लिए:

ollama run llama3.1

जब तैयार हो जाए, तो ओलामा कमांडलाइन से बाहर निकलने के लिए एक आदेश भेजें:

/bye

सीयूआरएल ओलामा

अगर आपने अभी तक करूल इंस्टॉल नहीं किया है तो इंस्टॉल करें

sudo apt-get install curl

ओलामा पर मेस्ट्रल नेमो क्यू8 एलएलएम को कॉल करने के लिए - एक स्थानीय फ़ाइल बनाएं जिसमें प्रॉम्प्ट p.json है:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

अब बैश टर्मिनल में निष्पादित करें

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

परिणाम p-result.json फ़ाइल में होगा

अगर आपको केवल परिणाम प्रिंट करना है:

curl -X POST http://localhost:11434/api/generate -d @p.json

अन्य:

मैंने इन्हें परीक्षण नहीं किया है, लेकिन एलएलएम यूआई के लिए एक बहुत व्यापक सूची है:

उपयोगी लिंक