LLMs के साथ तर्कात्मक अपराध पता लगाना
इस बात का परीक्षण करते हैं कि विभिन्दु एलआईएम्स (LLMs) योजनात्मक अशुद्धि (logical fallacy) का पता लगाने में कैसी सक्षम हैं।
हम जो स्थिति का परीक्षण करते हैं।
मुझे लंबे समय से आपत्कारी आर्थिक गड़बड़ी (Logical Fallacy) का प्रावधिक पहचानने में रुचि रही है, और इस प्रयोग में मैं विभिन्न बड़े भाष्य (Large Language Models) वाले AI का इस वास्तविक-जीवन उदाहरण पर प्रभाव समझने का प्रयास कर रहा हूँ।
कुछ समय पहले, मैंने आपत्कारी आर्थिक गड़बड़ी का प्रावधिक पहचानने में दिलचस्पी थी, और इस अनुभव में मैं llama3 (Meta), phi3 (Microsoft), gemma (Google), mistral (ओपन सोource) और qwen (Alibaba) के माध्यम से जो प्रकार की आपत्कारी गड़बड़ी पहचान सकते हैं, उसे देखना चाहा। मुझे हर एक मॉडल को दोहराया ताकि अगर किसी भी समय मॉडल ने कोई विशेष आपत्कारी गड़बड़ी पहचानी, तो उसके लिए V V होगा।
यहां नीचे मैंने किया है:
| मॉडल संस्करण | GPU RAM | A2CS | Straw man | Ad homi-nem | Red Herring | Appeal to autho-rity | False dichotomytomy | Hasty Generalization | Begging the Question | Slippery Slope |
|---|---|---|---|---|---|---|---|---|---|---|
| l3:8b-i-q4_0 | 5.8GB | V V | V V | V | V | |||||
| l3:8b-i-q8_0 | 9.1GB | V | V | V V | ||||||
| l3:8b-i-fp16 | 9.1GB | V | V V | |||||||
| p3:3.8b | 4.3GB | V V | V | |||||||
| p3:3.8b-mini-4k-i-q8_0 | 5.8GB | V V | V V | |||||||
| p3:14b | 9.3GB | V V | ||||||||
| mi:7b-i-v0.3-q8_0 | 8.6GB | V V | V V |
आपत्कारी आर्थिक गड़बड़ी के संक्षेप: A2CS=Appeal to common sense
मॉडलों के नाम के संक्षेप:
- l3=llama3
- p3=phi3
- i=instruct
- m=medium
- mi=mistral
- ge=gemma
- qw=qwen
Oversimplification=False dichotomy
जैसा हम देखते हैं, अधिकांश मॉडल Strawman fallacy, Ad Hominem, Appeal to authority को सही पहचानते हैं।
TL;DR
**कृपया देखें नए LLMs के आपत्कारी गड़बड़ी पहचान में V V शामिल हैं।
मॉडलों के सटीक प्रतिक्रिया
यहां मुझे दोहराना है कि हम जो वाक्यांश का परीक्षण कर रहे हैं:
Look, on first blush, it all sounds perfectly reasonable:
too many people, not enough houses.
But it is never that simple,
as a former home affairs minister should know.
llama3:8b-instruct-q4_0 की प्रतिक्रिया
यह एक आपत्कारी आर्थिक गड़बड़ी (Logical Fallacy) समूचे विचारों का उदाहरण है!
llama3:8b-instruct-q8_0 की प्रतिक्रिया
यह वाक्यांश में आपत्कारी आर्थिक गड़बड़ी (Logical Fallacy) हैं।
phi3:14b-medium-4k-instruct-q6_K की प्रतिक्रिया
यह वाक्यांश में आपत्कारी आर्थीक गड़बड़ी (Logical Fallacy) हैं।
