गेम्मा2 विरुद्ध क्वेन2 विरुद्ध मिस्ट्रल नेमो विरुद्ध...

तार्किक भ्रम पता करना पर परीक्षण

Page content

हाल ही में हमने कई नए LLMs के रिलीज को देखा है।
उत्साहजनक समय है।
चलिए टेस्ट करें और देखें कि वे तार्किक गलतियों के पता लगाने में कैसे प्रदर्शन करते हैं।

Presenting mistral nemo

क्या और कैसे हम करते हैं

पिछले परीक्षण में हम पहले ही देख चुके हैं कि LLM are detecting logical fallacies - llama3 vs phi3 vs others.
वे इसे बहुत अच्छा करते हैं, हमने llama3-8b-Q8 और phi3-medium-4k-instruct-q6_K के परिणाम को बहुत पसंद किया है।

इस परीक्षण में हम Gemma2, Qwen2 और Mistral Nemo का उपयोग करके उसी काम करते हैं।

हम संभवतः सबसे अच्छे मॉडलों का परीक्षण कर रहे हैं, लेकिन वे हमारे प्रतिबंधों के अनुसार होने चाहिए -
वे हमारे उपभोक्ता-ग्रेड GPU में फिट होने चाहिए, जिसके पास 16 GB VRAM है।
इस मानक के आधार पर हमने निम्नलिखित क्वांटाइजेशन का चयन किया है:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

और इस qwen2 संस्करण:

  • qwen2:72b-instruct-q2_K

इसका आकार 29GB है, लेकिन चलिए इसे भी परीक्षण करते हैं।

कृपया ध्यान दें कि हम यहां ‘डिफ़ॉल्ट’ क्वांटाइजेशन q4 के उपयोग के बारे में नहीं गिर रहे हैं।
यदि q8 हमारे GPU के 16GB VRAM में फिट होता है - हम इसे ले जाते हैं,
हमारी स्थिति में सबसे अच्छा प्रयास करते हैं।

DT;DR: परिणाम

हमने पहले परीक्षण किया था

यहां अपडेट की गई तालिका है जहां हमारे नए मॉडल बोल्ड में हैं।

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

तार्किक गलतियों के नाम में छोटाकर: A 2 CS=Appeal to common sense

मॉडल नाम में छोटाकर:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

अतिआवश्यक सरलीकरण=अप्रत्यक्ष द्विविधता

निष्कर्ष

हम उम्मीद करते हैं कि LLMs नमूना पाठ में Strawman गलती, Ad Hominem, Appeal to authority और Oversimplification खोजेंगे।

अधिकांश नए मॉडल हमारे नमूना पाठ में Appeal to Authority को देख सकते हैं, और कुछ Ad Hominem, कुछ Oversimplification। अच्छे परिणाम gemma2:9b-instruct-q8_0 और qwen2:7b-instruct-q8_0 दिखाएं।

लेकिन अभी भी, विजेता वही रहते हैं।

“संपादक का चयन” मॉडल phi3:14b-medium-4k-instruct-q6_K है। यह आसानी से 16GB RAM में फिट हो जाता है, और बहुत बुद्धिमान है। दूसरा स्थान phi3:3.8b-mini-4k-instruct-q8_0 के लिए है। llama3 मॉडलों के समूह भी अच्छा है।

Mistral Nemo

चलिए पहले Mistral Nemo के परिणाम की जांच करें, यहां तक कि वे सबसे अच्छे नहीं हैं, क्योंकि उनकी तस्वीर में एक खूबसूरत रोबोट है।

Mistral nemo 12b

मॉडल: mistral-nemo:12b-instruct-2407-q8_0

उत्तर:

आपके द्वारा प्रदान की गई वाक्य में दो मुख्य तार्किक गलतियाँ हैं:

  1. Appeal to Authority (Argumentum ad Verecundiam): बोलने वाला एक पूर्व घर विभाग मंत्री के अधिकार के ऊपर आश्रित है, लेकिन इस व्यक्ति से कोई विशेष तर्क या साक्ष्य प्रदान नहीं करता है। वे इस व्यक्ति के द्वारा एक निश्चित पद के धारक होने के कारण उनके विचार को स्वीकार करना आवश्यक है।

    • गलती: “एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए।”

  2. Red Herring (Irrelevant Conclusion): बोलने वाला एक लगभग तार्किक तर्क (“बहुत सारे लोग, घरों की कमी”) प्रस्तुत करता है लेकिन इसे बिना किसी विरोध तर्क या साक्ष्य के अस्वीकार करता है। बजाय इसके, वे पूर्व मंत्री के अधिकार के ऊपर आश्रित होते हैं।

    • गलती: “देखो, पहली नजर में, यह सब बिल्कुल तार्किक लगता है: बहुत सारे लोग, घरों की कमी। लेकिन यह कभी भी इतना सरल नहीं होता है…”

हालांकि वाक्य में भावनात्मक भाषा का सीधा उपयोग नहीं है, लेकिन अधिकार के आह्वान और लाल गुड़ा गलतियों को एक व्यापक अर्थ में भावना के आह्वान के रूप में विचार किया जा सकता है, क्योंकि वे तर्क के बजाय अन्य कारकों पर आधारित श्रोता को विश्वास जगाने की कोशिश करते हैं।

आपके द्वारा प्रदान की गई वाक्य में कुछ तार्किक गलतियाँ हैं:

  1. Ad Hominem: यह तर्क के बजाय तर्क करने वाले व्यक्ति के खिलाफ एक हमला है। इस मामले में, यह निहित रूप से बताता है कि क्योंकि बोलने वाला एक पूर्व घर विभाग मंत्री है, वे जानते हैं कि चीजें सरल नहीं हैं। वाक्य इंगित करता है कि उनकी अवबोधन (या शायद गलत अवबोधन) उनके पूर्व पद के कारण है, बजाय तर्क के विषय के विश्वास के बजाय।

  2. Appeal to Complexity: यह गलती तब होती है जब कोई जटिलता के आधार पर गहराई से सोचे बिना एक विषय के बारे में बात करता है या विरोध तर्क या तर्क के बजाय अपनी स्थिति के खिलाफ साक्ष्य को अस्वीकार करता है। इस संदर्भ में, “यह कभी भी इतना सरल नहीं होता है” एक तर्क के बजाय इसके लाभ के बिना तर्क के बारे में बात करने का एक तरीका हो सकता है।

हालांकि वाक्य में भावनात्मक आह्वान का सीधा उपयोग नहीं है, लेकिन Ad Hominem और Appeal to Complexity जैसी गलतियों का उपयोग अक्सर अतिरिक्त भावनाओं जैसे घृणा या अतिरिक्त सरलीकरण वाले तर्कों के प्रति असहिष्णुता के रूप में निहित रूप से आह्वान कर सकता है। हालांकि, ये एक ऐसे तर्क के बराबर नहीं हैं जैसे कि “आप सहमत होना चाहिए क्योंकि आप नहीं सहमत होने पर खराब महसूस करेंगे”।

इसलिए, जबकि इस वाक्य में वास्तव में कुछ तार्किक गलतियाँ उपस्थित हैं, वे भावनात्मक आह्वान के रूप में विशेष रूप से नहीं हैं।

Gemma 2 - 9b

Gemma 2 logo

मॉडल: gemma2:9b-instruct-q8_0

उत्तर:

“देखो, पहली नजर में, यह सब बिल्कुल तार्किक लगता है: बहुत सारे लोग, घरों की कमी। लेकिन यह कभी भी इतना सरल नहीं होता है, एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” वाक्य में कुछ तार्किक गलतियाँ हैं:

  • Appeal to Authority: वाक्य एक “पूर्व घर विभाग मंत्री” के द्वारा अपने आप को अस्वीकार करता है। बोलने वाला इस बात की धारणा लेता है कि क्योंकि व्यक्ति एक शक्तिशाली पद के धारक है, उनके विचार आवश्यक रूप से अधिक भारी होते हैं। यह गलती इस बात को अनदेखा करती है कि मंत्री गलत हो सकते हैं या उनकी विशेषज्ञता इस विशेष स्थिति में लागू नहीं हो सकती है।

  • Pooh-Pooh: “यह कभी भी इतना सरल नहीं होता है” वाक्य अपने आप को अस्वीकार करता है बिना किसी वास्तविक विरोध तर्क या साक्ष्य के। यह एक अस्वीकरण वाक्य है जो विचारों के साथ वास्तविक बातचीत के बजाय बंद कर देता है।

मुझे बताएं कि आप अन्य तार्किक गलतियों के अन्य उदाहरणों के बारे में अधिक जानना चाहते हैं!

“देखो, पहली नजर में, यह सब बिल्कुल तार्किक लगता है: बहुत सारे लोग, घरों की कमी। लेकिन यह कभी भी इतना सरल नहीं होता है, एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” वाक्य में कुछ तार्किक गलतियाँ हैं:

  • Appeal to Authority: वाक्य एक “पूर्व घर विभाग मंत्री” के द्वारा अपने आप को अस्वीकार करता है। यह धारणा इस बात की है कि बोलने वाला एक पूर्व मंत्री है, जो इस विशेष मुद्दे पर विशेषज्ञता अपने आप को देता है।

  • Pooh-Pooh: “यह कभी भी इतना सरल नहीं होता है” वाक्य एक पोह-पोह के रूप में देखा जा सकता है। यह एक सरल तर्क को बिना किसी वास्तविक विरोध तर्क या जटिलताओं के अस्वीकार करता है।

मुझे बताएं कि आप अन्य वाक्यों या तर्कों के गलतियों के बारे में विश्लेषण करना चाहते हैं!

Gemma 2 - 27b

मॉडल: gemma2:27b-instruct-q3_K_L

उत्तर:

“लेकिन यह कभी भी इतना सरल नहीं होता है, एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” वाक्य appeal to authority गलती का उपयोग करता है।

इसके कारण:

  • यह विशेषज्ञता के आधार पर धारणा करता है: वाक्य इस बात की धारणा करता है कि क्योंकि व्यक्ति एक पूर्व घर विभाग मंत्री है, वे जटिल सामाजिक मुद्दों जैसे घरों की कमी के बारे में विशेषज्ञता अपने आप को देते हैं।
  • विशेषज्ञता हमेशा संबंधित नहीं होती: जबकि एक पूर्व मंत्री के पास घर नीति के बारे में कुछ अंतर्ज्ञान हो सकता है, उनका अनुभव घरों की कमी के लिए योगदान देने वाले अन्य कारकों के बारे में विशेषज्ञता नहीं हो सकता है।

वाक्य एक संभव वैध तर्क (“बहुत सारे लोग, घरों की कमी”) को बस इसलिए अस्वीकार करता है क्योंकि वह एक क्षेत्र में विशेषज्ञता के अभाव के कारण है।

मुझे बताएं कि आपके पास कोई अन्य वाक्य है जिसका विश्लेषण करना चाहते हैं!

आपके द्वारा प्रदान की गई वाक्य में कई तार्किक गलतियाँ हैं:

  1. Appeal to Emotions (Argumentum ad Passiones): वाक्य “देखो, पहली नजर में, यह सब बिल्कुल तार्किक लगता है” श्रोता के मन में तार्किकता और सरलता के एहसास को बिना किसी विशेष तर्क या तार्किकता के उत्पन्न करता है।
  2. Red Herring Fallacy: “एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” द्वारा बोलने वाला एक असंबंधित बिंदु (एक विशिष्ट व्यक्ति के ज्ञान) लाता है जो मुख्य मुद्दा से ध्यान भटकाता है, जो अपने आप को अस्वीकार करता है कि व्यक्ति की विशेषज्ञता उपयुक्त है जब यह नहीं हो सकता है।
  3. Appeal to Authority Fallacy: यद्यपि इस वाक्य में निहित रूप से नहीं है, यदि कोई व्यक्ति दावा करता है कि “एक पूर्व घर विभाग मंत्री” को कुछ जानना चाहिए क्योंकि वे एक पूर्व मंत्री हैं, तो वे एक अपील के अधिकार की गलती करते हैं, जो उनकी स्थिति के आधार पर उनकी विशेषज्ञता के बिना दावा करते हैं।

इन तार्किक गलतियों के द्वारा तर्क की शक्ति को कम कर सकता है जो भावनाओं के बजाय तार्किकता और संबंधितता के बजाय आह्वान करता है।

Qwen 2 - 7b

Qwen 2 logo

मॉडल: qwen2:7b-instruct-q8_0

उत्तर:

आपके द्वारा प्रदान की गई वाक्य में कई तार्किक गलतियाँ हैं:

  1. Appeal to Emotions (Argumentum ad Passiones): वाक्य “देखो, पहली नजर में, यह सब बिल्कुल तार्किक लगता है” श्रोता के मन में तार्किकता और सरलता के एहसास को बिना किसी विशेष तर्क या तार्किकता के उत्पन्न करता है।
  2. Red Herring Fallacy: “एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” द्वारा बोलने वाला एक असंबंधित बिंदु (एक विशिष्ट व्यक्ति के ज्ञान) लाता है जो मुख्य मुद्दा से ध्यान भटकाता है, जो अपने आप को अस्वीकार करता है कि व्यक्ति की विशेषज्ञता उपयुक्त है जब यह नहीं हो सकता है।
  3. Appeal to Authority Fallacy: यद्यपि इस वाक्य में निहित रूप से नहीं है, यदि कोई व्यक्ति दावा करता है कि “एक पूर्व घर विभाग मंत्री” को कुछ जानना चाहिए क्योंकि वे एक पूर्व मंत्री हैं, तो वे एक अपील के अधिकार की गलती करते हैं, जो उनकी स्थिति के आधार पर उनकी विशेषज्ञता के बिना दावा करते हैं।

इन तार्किक गलतियों के द्वारा तर्क की शक्ति को कम कर सकता है जो भावनाओं के बजाय तार्किकता और संबंधितता के बजाय आह्वान करता है।

Qwen 2 - 72b

मैं जानता हूं, वह भारी वजन नहीं है हमारे श्रेणी से, लेकिन केवल जिज्ञासा के लिए…

मॉडल: qwen2:72b-instruct-q2_K

उत्तर:

प्रदान की गई वाक्य में सीधे तौर पर भावनात्मक आह्वान के तत्व नहीं हैं जैसा कि तार्किक गलतियों की सूची में उल्लेख किया गया है। हालांकि, यह एक संभावित तार्किक गलती के रूप में जाना जाता है “Appeal to authority” या “Argument from authority”। यह इसलिए है क्योंकि बोलने वाला इंगित करता है कि पूर्व घर विभाग मंत्री के रूप में जानना चाहिए, जो इंगित करता है कि व्यक्ति के विषय पर अधिकार उनके विचार के अधिक वैध होने के कारण है।

वाक्य में सीधे तौर पर भावनात्मक आह्वान का उपयोग नहीं किया गया है, बल्कि यह पूर्व घर विभाग मंत्री के अनुमान के अधिकार के ऊपर आश्रित होता है जो अपने आप को अस्वीकार करता है। यह वाक्य में देखा जा सकता है: “लेकिन यह कभी भी इतना सरल नहीं होता है, एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए।”

सारांश:

  • तार्किक गलती उपस्थित: Appeal to authority
  • परिभाषा: एक आह्वान के अधिकार होता है जब एक दावा व्यक्ति के विश्वास या विशेषज्ञता के आधार पर अधिक वैध माना जाता है बजाय तार्किकता के बल के बजाय।
  • वाक्य में उदाहरण: “एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” इंगित करता है कि व्यक्ति के अनुभव के आधार पर अपने विचार के अधिक वैध होने के कारण है।

आपके द्वारा प्रदान की गई वाक्य में एक विशिष्ट भावनात्मक आह्वान के लिए आवश्यकता नहीं है; बल्कि यह श्रोता के ज्ञान और अनुभव के ऊपर आधारित है जो सरल व्याख्याओं के बारे में बताता है कि वे अपूर्ण विवरण देते हैं। हालांकि, यदि हम इसके लिए संभावित भावनात्मक आह्वान के बारे में विश्लेषण करते हैं:

Appeal to Authority: यह अप्रत्यक्ष रूप से “एक पूर्व घर विभाग मंत्री” के ऊपर आधारित है जो अधिक ज्ञान रखता है, जो अपने आप को अस्वीकार करता है। यह एक अप्रत्यक्ष तरीका है जो जटिलता के ऊपर अधिकार और विश्वास के ऊपर आधारित है, जो श्रोता में अतिरिक्त विचारों के बारे में असहिष्णुता के रूप में आह्वान करता है।

वाक्य में सीधे तौर पर भावनात्मक आह्वान जैसे भय, दोष, अपमान, क्रोध, दुर्भावना, घृणा, विनम्रता, दया, राष्ट्रीयता या पोह-पोह का उपयोग नहीं किया गया है, लेकिन यह अधिकार के ऊपर आधारित आह्वान के रूप में अपने आप को अस्वीकार करता है जो अपने आप को अस्वीकार करता है।

इसके अलावा, यह एक संभावित आह्वान के रूप में जाना जाता है:

Appeal to Reason: यह हमें अतिरिक्त समाधानों के बजाय जटिलता के बारे में विचार करने के लिए प्रेरित करता है।

सारांश:

  • वाक्य में उपस्थित तार्किक गलती: Appeal to authority
  • परिभाषा: एक आह्वान के अधिकार होता है जब एक दावा व्यक्ति के विश्वास या विशेषज्ञता के आधार पर अधिक वैध माना जाता है बजाय तार्किकता के बल के बजाय।
  • वाक्य में उदाहरण: “एक पूर्व घर विभाग मंत्री के रूप में जानना चाहिए” इंगित करता है कि व्यक्ति के अनुभव के आधार पर अपने विचार के अधिक वैध होने के कारण है।

उपयोगी संसाधन

Looking at the initial part of the query, there’s a lot of repeated text, maybe a formatting error. The user might have intended to ask a question but ended up pasting a list of URLs. Alternatively, they might be testing how the system handles such inputs.

Since the URLs are all related to different types of appeals in argumentation, the user could be looking for an explanation of these fallacies. However, the query doesn’t have a clear question. My job is to recognize that and ask for clarification. I should check if the user wants an explanation of these terms, or if there’s a specific issue they’re facing with the provided content. Also, the repeated “https://www.law.cornell.edu/wex/appeal_to..." might be a mistake, perhaps a copy-paste error.

I should respond by asking the user to clarify their request. Maybe they want a summary of these appeals, or they need help understanding a specific one. Alternatively, they might have a problem with the formatting of their original query. It’s important to prompt them to provide more details so I can assist effectively.

It seems your query contains a list of URLs related to logical fallacies and argumentation techniques (e.g., “appeal_to_authority,” “appeal_to_emotion,” etc.), but there is no explicit question or request in your message. Could you clarify what you’re looking for? For example:

  1. Are you asking for explanations of these logical fallacies?
    If so, I can provide summaries of terms like appeal to authority, appeal to emotion, appeal to fear, etc.

  2. Are you encountering formatting issues with the URLs?
    If so, let me know how I can assist with that.

  3. Do you need help analyzing a specific argument or text?
    If you share the context, I can help identify logical fallacies or improve reasoning.

Let me know how I can assist!