Gemma2 vs Qwen2 vs Mistral Nemo vs...

Menguji deteksi kesalahan logika

Konten Halaman

Baru-baru ini kita melihat beberapa LLM baru yang dirilis. Masa yang menarik. Mari kita uji dan lihat bagaimana mereka berperforma saat mendeteksi fallasi logis.

Presenting mistral nemo

Apa dan bagaimana kita lakukan

Dalam uji coba sebelumnya kita sudah menguji bagaimana LLM mendeteksi fallasi logis - llama3 vs phi3 vs lainnya. Mereka melakukannya cukup baik, kita menyukai hasil dari llama3-8b-Q8 dan phi3-medium-4k-instruct-q6_K.

Dalam uji coba ini kita melakukan hal yang sama menggunakan Gemma2, Qwen2, dan Mistral Nemo.

Kita sedang menguji model terbaik yang mungkin, tetapi mereka harus memenuhi batasan kita - mereka harus cocok dengan GPU konsumen kami, yang memiliki 16 GB VRAM. Dengan kriteria ini dalam pikiran kita memilih kuantisasi berikut:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

dan versi qwen2 berikut:

  • qwen2:72b-instruct-q2_K

Itnya memiliki ukuran 29GB, tetapi mari kita uji saja.

Harap diperhatikan di sini kita tidak kembali ke kuantisasi ‘default’ q4. jika q8 cocok dengan VRAM 16GB GPU kami - kita akan menggunakannya, mencoba yang terbaik mungkin dalam situasi kami.

DT;DR: Hasilnya

Model-model sebelumnya yang kami uji dalam Deteksi Fallasi Logis dengan LLMs. Silakan lihat dalam posting tersebut apa yang kami uji dan sekarang.

Berikut adalah tabel terbaru di mana model-model baru kami ditampilkan dalam huruf tebal.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

Singkatan dalam nama fallasi logis: A 2 CS=Appeal to common sense

Singkatan dalam nama model:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Pengabaian terhadap kompleksitas=False dichotomy

Kesimpulan

Kita berharap LLMs dapat menemukan fallasi logis Strawman, Ad Hominem, Appeal to authority, dan Oversimplification dalam teks contoh.

Sebagian besar model baru dapat melihat Appeal to Authority dalam teks contoh kami, dan beberapa melihat Ad Hominem, beberapa Oversimplification. Hasil yang baik ditunjukkan oleh qwen2:7b-instruct-q8_0 dan gemma2:9b-instruct-q8_0.

Namun, pemenang tetap sama.

Model “Pilihan Editor” adalah phi3:14b-medium-4k-instruct-q6_K. Ia mudah cocok ke dalam RAM 16GB, dan cukup cerdas. Posisi kedua adalah untuk phi3:3.8b-mini-4k-instruct-q8_0. Kelompok model llama3 juga bagus.

Mistral Nemo

Mari kita tinjau hasil Mistral Nemo terlebih dahulu, meskipun mereka bukan yang terbaik, karena mereka memiliki robot yang menarik di gambar mereka.

Mistral nemo 12b

Model: mistral-nemo:12b-instruct-2407-q8_0

Respons:

Kalimat yang Anda berikan berisi dua fallasi logis utama:

  1. Appeal to Authority (Argumentum ad Verecundiam): Pembicara menyerahkan otoritas seorang mantan menteri urusan rumah tangga tanpa menyediakan argumen atau bukti spesifik dari orang ini. Mereka hanya mengasumsikan bahwa karena orang ini menjabat posisi tertentu, pendapatnya harus diterima sebagai valid.

    • Fallasi: “sebagai mantan menteri urusan rumah tangga harus tahu.”

  2. Red Herring (Irrelevant Conclusion): Pembicara mulai dengan menyajikan argumen yang tampaknya masuk akal (“terlalu banyak orang, tidak cukup rumah”) tetapi kemudian mengabaikannya tanpa menyediakan argumen atau bukti. Sebaliknya, mereka menyerahkan otoritas mantan menteri.

    • Fallasi: “Lihat, pada pandangan pertama, semuanya terdengar sangat masuk akal: terlalu banyak orang, tidak cukup rumah. Tapi tidak pernah sebegitu sederhana…”

Meskipun kalimat ini tidak secara eksplisit menggunakan bahasa emosional, fallasi appeal to authority dan red herring masih dapat dianggap sebagai bentuk appeal to emotion dalam arti yang lebih luas, karena mereka mencoba meyakinkan pendengar berdasarkan faktor-faktor selain argumen rasional.

Berdasarkan kalimat yang Anda berikan, terdapat beberapa fallasi logis:

  1. Ad Hominem: Ini adalah serangan yang ditujukan kepada orang yang membuat argumen, bukan argumen itu sendiri. Dalam kasus ini, disarankan bahwa karena pembicara memiliki pengalaman sebagai mantan menteri urusan rumah tangga, mereka harus tahu bahwa hal-hal tidak sederhana. Kalimat ini menyiratkan bahwa kurangnya pemahaman (atau mungkin kesalahpahaman) mereka disebabkan oleh peran sebelumnya mereka, bukan menghadapi substansi argumen.

  2. Appeal to Complexity: Fallasi ini terjadi ketika seseorang menggunakan kompleksitas sebagai alasan untuk tidak berpikir dalam tentang suatu isu atau untuk mengabaikan bukti atau penalaran yang bertentangan dengan posisi mereka sendiri. Dalam konteks ini, “tidak pernah sebegitu sederhana” bisa dilihat sebagai cara mengabaikan argumen awal tanpa benar-benar menghadapi keunggulannya.

Meskipun tidak ada penyerapan emosi yang jelas dalam kalimat itu sendiri, penggunaan fallasi seperti Ad Hominem dan Appeal to Complexity bisa secara halus menyerap emosi seperti kebencian atau frustrasi terhadap argumen yang terlalu disederhanakan. Namun, ini bukan penyerapan emosi langsung dalam cara yang sama seperti pernyataan seperti “Anda harus setuju karena Anda akan merasa buruk jika tidak.”

Jadi, meskipun memang ada fallasi logis dalam kalimat ini, mereka bukan penyerapan emosi yang eksplisit.

Gemma 2 - 9b

Gemma 2 logo

Model: gemma2:9b-instruct-q8_0

Respons:

Kalimat “Lihat, pada pandangan pertama, semuanya terdengar sangat masuk akal: terlalu banyak orang, tidak cukup rumah. Tapi tidak pernah sebegitu sederhana, sebagai mantan menteri urusan rumah tangga harus tahu” mengandung beberapa fallasi logis:

  • Appeal to Authority: Kalimat ini bergantung pada otoritas yang dianggap dari “mantan menteri urusan rumah tangga” untuk menolak argumen awal. Pembicara mengasumsikan bahwa karena orang ini menjabat posisi kekuasaan, pendapatnya secara otomatis lebih berat. Fallasi ini mengabaikan kemungkinan bahwa menteri mungkin salah atau bahwa keahlian mereka tidak berlaku untuk situasi spesifik ini.

  • Pooh-Pooh: Kalimat “tidak pernah sebegitu sederhana” menolak argumen awal tanpa menyediakan argumen atau bukti yang nyata. Ini adalah pernyataan menolak yang bertujuan untuk menghentikan percakapan daripada berinteraksi dengan ide yang disajikan.

Beritahu saya jika Anda ingin mengeksplorasi contoh fallasi logis lainnya!

Kalimat “Lihat, pada pandangan pertama, semuanya terdengar sangat masuk akal: terlalu banyak orang, tidak cukup rumah. Tapi tidak pernah sebegitu sederhana, sebagai mantan menteri urusan rumah tangga harus tahu” mengandung beberapa fallasi logis:

  • Appeal to Authority: Kalimat ini secara implisit menyiratkan bahwa karena pembicara menyebutkan “mantan menteri urusan rumah tangga,” pendapatnya lebih berat. Ini mengasumsikan bahwa menjadi mantan menteri secara otomatis memberikan keahlian pada isu tertentu.

  • Pooh-Pooh: Kalimat “tidak pernah sebegitu sederhana” bisa dianggap sebagai bentuk pooh-pooh terhadap argumen awal. Ini menolak penalaran sederhana tanpa menyediakan argumen yang substansial atau mengeksplorasi kompleksitasnya.

Beritahu saya jika Anda ingin menganalisis kalimat atau argumen lain untuk fallasi!

Gemma 2 - 27b

Model: gemma2:27b-instruct-q3_K_L

Respons:

Kalimat “Tapi tidak pernah sebegitu sederhana, sebagai mantan menteri urusan rumah tangga harus tahu” menggunakan fallasi appeal to authority.

Berikut alasannya:

  • Mengasumsikan keahlian: Kalimat ini mengimplikasikan bahwa karena orang ini mantan menteri urusan rumah tangga, mereka secara otomatis memiliki pengetahuan khusus tentang isu sosial kompleks seperti kekurangan perumahan.
  • Keahlian tidak selalu relevan: Meskipun mantan menteri mungkin memiliki sedikit wawasan tentang kebijakan perumahan, pengalaman mereka tidak secara otomatis membuat mereka ahli tentang semua faktor penyebab kekurangan perumahan.

Kalimat ini mencoba menolak argumen yang mungkin valid (“terlalu banyak orang, tidak cukup rumah”) hanya karena berasal dari seseorang yang dianggap tidak memiliki keahlian di bidang tersebut.

Beritahu saya jika Anda memiliki kalimat lain yang ingin saya analisis!

Kalimat ini mengandung beberapa elemen yang mirip dengan fallasi logis, meskipun bukan kasus yang jelas:

  • Appeal to Authority (Lemah): “sebagai mantan menteri urusan rumah tangga harus tahu.” Ini mencoba memberi bobot pada argumen dengan mengajak otoritas sebelumnya pembicara. Namun, ini lemah karena tidak menyediakan keahlian atau penalaran spesifik dari menteri untuk mendukung pendirian mereka.

  • Ad Hominem (Potensial): Bergantung pada konteks dan nada, kalimat ini bisa dianggap sebagai serangan ad hominem jika dimaksudkan untuk merendahkan argumen berdasarkan siapa yang membuatnya, bukan menghadapi isi argumen. Misalnya, jika pernyataan menyiratkan bahwa orang tersebut tidak mampu memahami kebijakan perumahan karena mereka mantan menteri, itu akan menjadi ad hominem.

Catatan Penting: Tanpa konteks tambahan tentang apa yang sebenarnya diajukan orang tersebut dan nada keseluruhan, sulit untuk secara definitif mengklasifikasikan ini sebagai contoh kuat dari fallasi.

Beritahu saya jika Anda memiliki kalimat lain yang ingin saya analisis!

Qwen 2 - 7b

Qwen 2 logo

Model: qwen2:7b-instruct-q8_0

Respons:

Kalimat yang Anda berikan mengandung beberapa fallasi logis:

  1. Appeal to Emotions (Argumentum ad Passiones): Pernyataan “Lihat, pada pandangan pertama, semuanya terdengar sangat masuk akal” berusaha membangkitkan rasa masuk akal dan sederhana dalam pikiran pendengar tanpa menyediakan bukti atau argumen yang substansial.
  2. Red Herring Fallacy: Dengan menyebutkan bahwa “mantan menteri urusan rumah tangga harus tahu,” pembicara memperkenalkan poin yang tidak relevan (pengetahuan individu tertentu) untuk mengalihkan perhatian dari isu utama, mungkin menyesatkan pendengar agar berpikir bahwa pengetahuan orang tersebut relevan meskipun mungkin tidak.
  3. Appeal to Authority Fallacy: Meskipun tidak disebutkan secara eksplisit dalam kalimat ini, jika seseorang menyatakan bahwa “mantan menteri urusan rumah tangga” tahu sesuatu karena mereka mantan menteri, mereka akan melakukan fallasi appeal to authority, mengasumsikan bahwa posisi mereka memberikan keahlian pada masalah tersebut tanpa menyediakan bukti untuk pengetahuan atau argumen spesifik mereka.

Fallasi logis ini dapat merusak kekuatan argumen dengan menyerap emosi daripada logika dan relevansi.

Kalimat yang Anda berikan:

“Lihat, pada pandangan pertama, semuanya terdengar sangat masuk akal: terlalu banyak orang, tidak cukup rumah. Tapi tidak pernah sebegitu sederhana, sebagai mantan menteri urusan rumah tangga harus tahu.”

tidak mengandung fallasi Appeal to Emotions (Appealum ad passiones) yang disebutkan dalam daftar Anda. Namun, beberapa potensi fallasi logis bisa saja:

  • Ad Hominem jika kutipan ini digunakan sebagai serangan terhadap individu tertentu (‘mantan menteri urusan rumah tangga’) daripada menghadapi argumen mereka.
  • Red Herring Fallacy: Ada upaya untuk mengalihkan perhatian dari isu utama atau argumen dengan menyebutkan topik yang tidak relevan, meskipun tidak ada red herring yang jelas dalam kalimat yang Anda berikan.

Ada juga fallasi lain yang tidak disebutkan di bawah ‘Appeal To Emotions’ seperti:

  • False Dilemma: Menyajikan isu kompleks dalam bentuk biner sederhana di mana tidak bisa dibahas secara memadai. Kalimat yang Anda berikan tidak menyiratkan jenis fallasi ini.
  • Appeal to Authority: Menggunakan pendapat atau identitas seseorang yang terkenal daripada bukti valid untuk mendukung argumen. Tidak berlaku dalam kutipan Anda karena tidak ada otoritas yang disebutkan.

Silakan jelas jika ada kalimat lain yang Anda maksud untuk analisis di bawah appeal to emotions, dan kami akan dengan senang hati membantu dengan itu.

Qwen 2 - 72b

Saya tahu, itu terlalu berat bukan dari kategori kami, tetapi hanya penasaran…

Model: qwen2:72b-instruct-q2_K

Jawaban:

Frasa yang diberikan tidak secara langsung mengandung ajakan kepada emosi seperti yang didefinisikan dalam daftar fallasi logis. Namun, frasa tersebut mengimplikasikan potensi fallasi logis yang dikenal sebagai “Ajakan kepada otoritas” atau “Argumen dari otoritas.” Ini karena pembicara menyatakan bahwa mantan menteri dalam negeri seharusnya lebih mengetahui, mengimplikasikan bahwa otoritas mereka atas subjek tersebut membuat pendapat mereka lebih valid.

Frasa tersebut tidak secara langsung menggunakan ajakan emosional, tetapi menggunakan otoritas mantan menteri dalam negeri yang dianggap memiliki pengetahuan sebagai cara untuk merendahkan sederhananya argumen yang disajikan. Ini dapat dilihat dalam struktur kalimat: “Tetapi itu tidak pernah seederhana itu, karena mantan menteri dalam negeri seharusnya mengetahui.”

Secara ringkas:

  • Fallasi logis yang ada: Ajakan kepada otoritas
  • Definisi: Ajakan kepada otoritas terjadi ketika suatu pernyataan dianggap benar berdasarkan kredibilitas atau keahlian orang yang membuat klaim tersebut, bukan kekuatan bukti.
  • Contoh dalam frasa: “karena mantan menteri dalam negeri seharusnya mengetahui” mengimplikasikan bahwa pendapat seseorang dengan pengalaman seperti itu memiliki bobot yang lebih besar dan dapat digunakan untuk menolak penjelasan sederhana.

Frasa yang Anda berikan tidak secara wajib membangkitkan respons emosional tertentu; tetapi, frasa tersebut menarik perhatian pendengar berdasarkan pengetahuan dan pengalaman mereka dengan menyatakan bahwa penjelasan sederhana sering kali tidak menyampaikan seluruh cerita. Namun, jika kita menganalisisnya untuk potensi ajakan emosional:

Ajakan kepada Otoritas: Frasa tersebut secara tidak langsung merujuk pada “mantan menteri dalam negeri” yang seharusnya lebih mengetahui daripada menerima penjelasan sederhana. Ini bisa dilihat sebagai upaya tidak langsung untuk memberikan otoritas dan kredibilitas terhadap kompleksitas isu, yang dapat secara halus menarik perhatian kita terhadap keinginan untuk mendapatkan panduan dari ahli.

Frasa tersebut tidak secara langsung menggunakan ajakan emosional seperti Rasa takut, Rasa bersalah, Tertawa, Marah, Dendam, Mual, Pujian, Nasionalisme, atau Pooh-Pooh, tetapi secara tidak langsung merujuk pada otoritas (menarik perhatian kita terhadap rasa hormat dan penghormatan) untuk menekankan kompleksitas isu yang tidak bisa diselesaikan hanya dengan menyalahkan “terlalu banyak orang” atas kurangnya rumah. Ini juga dapat terkait dengan:

Ajakan kepada Alasan: Frasa ini mendorong kita untuk melihat di luar solusi sederhana dan mempertimbangkan bahwa masalah mungkin memiliki penyebab yang lebih dalam atau lebih kompleks daripada yang tampak pada pandangan pertama.

Secara keseluruhan, meskipun mungkin tidak ada ajakan emosional yang kuat yang terlihat dalam frasa tersebut, frasa ini berusaha memanfaatkan otoritas dan alasan — aspek yang sering dihargai dalam pengambilan keputusan rasional. Ini menyoroti kemungkinan strategi untuk memainkan emosi kepercayaan terhadap tokoh otoritas untuk membangkitkan keraguan terhadap pandangan sederhana dan mendorong pertimbangan yang lebih mendalam oleh pendengar yang menghargai kompleksitas dalam isu sosial.

Versi yang lebih halus mungkin dapat memicu elemen-elemen terkait dengan:

  • Rasa takut: Secara halus membangkitkan kekhawatiran tentang penyederhanaan, sehingga memicu kecemasan terhadap kompleksitas yang tidak diatasi.
  • Rasa mual: Kehati-hatian terhadap narasi yang disederhanakan mungkin dipicu jika ditempatkan dalam konteks mengkritik diskusi kebijakan yang dangkal atau tidak berpengetahuan.

Namun, ini bersifat tidak langsung dan sangat bergantung pada nuansa kontekstual dalam diskusi sekitarnya. Tanpa konten emosional tambahan atau ajakan spesifik yang khas dari fallasi yang didefinisikan (misalnya, menakuti, secara terbuka memicu rasa bersalah), frasa ini terutama berfokus pada mengajak alasan melalui otoritas, bukan memanipulasi perasaan. Posisi ini menekankan kredibilitas, sering dihargai ketika menganalisis fallasi logis yang dapat memanipulasi emosi tanpa argumen yang kuat.

Untuk merangkum:

  • Pernyataan tersebut merujuk pada otoritas (“mantan menteri dalam negeri”), yang mungkin memicu rasa hormat atau kepercayaan (karena mengimplikasikan pengetahuan dari dalam).
  • Ini dapat memicu kecemasan halus terhadap penyederhanaan sebagai ancaman (meskipun teknik takut tidak secara eksplisit digunakan di sini).
  • Konteks yang lebih rinci mungkin diperlukan untuk klasifikasi spesifik mengenai ajakan emosional karena ajakan yang inheren cenderung berasal dari bagaimana pendengar secara emosional terkait dengan isu di luar pernyataan itu sendiri.

Ingatlah bahwa fallasi biasanya melibatkan kesalahan logika tetapi sering kali menyebar ke biasa atau kecemasan sosial yang lebih dalam – sehingga membuat implikasi frasa ini layak dipecahkan secara hati-hati mengenai apa yang pendengar mungkin secara tidak sadar kaitkan dalam dialog yang lebih luas.

Tautan yang berguna