Gemma2 vs Qwen2 vs Mistral Nemo vs...

Test della rilevazione delle fallacie logiche

Indice

Recentemente abbiamo visto il rilascio di diversi nuovi LLM. Tempi eccitanti. Testiamo e vediamo come si comportano quando rilevano fallacie logiche.

Presenting mistral nemo

Cosa e come facciamo

In precedenti test abbiamo già testato come LLM rilevano fallacie logiche - llama3 vs phi3 vs altri. Lo fanno abbastanza bene, abbiamo amato i risultati di llama3-8b-Q8 e phi3-medium-4k-instruct-q6_K.

In questo test facciamo lo stesso utilizzando Gemma2, Qwen2 e Mistral Nemo.

Stiamo testando i modelli migliori possibili, ma devono rispettare le nostre restrizioni - devono adattarsi alla nostra GPU consumer-grade, che ha 16 GB di VRAM. Con questo criterio in mente abbiamo selezionato le seguenti quantizzazioni:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

e questa versione di qwen2:

  • qwen2:72b-instruct-q2_K

Ha una dimensione di 29 GB, ma testiamola comunque.

Si noti qui che non stiamo ricadendo nell’utilizzo della quantizzazione ‘default’ q4. se q8 si adatta alla VRAM della nostra GPU di 16 GB - andiamo per questa, cercando il meglio possibile nelle nostre circostanze.

DT;DR: Il risultato

I modelli precedenti che abbiamo testato in Detezione delle fallacie logiche con LLM. Per favore vedi in quel post cosa abbiamo testato e ora.

Ecco la tabella aggiornata dove i nostri nuovi modelli sono in grassetto.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

Schemi abbreviati nei nomi delle fallacie logiche: A 2 CS=Appeal to common sense

Schemi abbreviati nei nomi dei modelli:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Schemi abbreviati: Oversimplification=False dichotomy

Conclusione

Ci aspettiamo che gli LLM trovino nella testo campione la fallacia Strawman, Ad Hominem, Appeal to authority e Oversimplification.

La maggior parte dei nuovi modelli riesce a vedere nel nostro testo campione Appeal to Authority, e alcuni vedono Ad Hominem, alcuni Oversimplification. Buoni risultati hanno mostrato qwen2:7b-instruct-q8_0 e gemma2:9b-instruct-q8_0.

Ma comunque, i vincitori restano gli stessi.

Il modello “Editor’s choice” è phi3:14b-medium-4k-instruct-q6_K. Si adatta facilmente a 16 GB di RAM, e abbastanza intelligente. Il secondo posto è per phi3:3.8b-mini-4k-instruct-q8_0. Il gruppo di modelli llama3 è buono anche.

Mistral Nemo

Rivediamo i risultati di Mistral Nemo per primi, anche se non sono i migliori, perché hanno un robot che sembra bello sulla loro immagine.

Mistral nemo 12b

Modello: mistral-nemo:12b-instruct-2407-q8_0

Risposta:

La frase che hai fornito contiene due principali fallacie logiche:

  1. Appeal to Authority (Argumentum ad Verecundiam): L’oratore si appella all’autorità di un ex ministro degli affari domestici senza fornire alcun argomento o evidenza specifica da questa persona. Semplicemente assumono che perché questa persona ha ricoperto una certa posizione, la sua opinione dovrebbe essere accettata come valida.

    • Fallacia: “come un ex ministro degli affari domestici dovrebbe sapere.”

  2. Red Herring (Conclusione Irrellevante): L’oratore inizia presentando un argomento apparentemente ragionevole (“troppa gente, non abbastanza case”) ma poi lo respinge senza fornire alcun contraddittorio o evidenza. Invece, si appella all’autorità dell’ex ministro.

    • Fallacia: “Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice…”

Sebbene la frase non utilizzi esplicitamente linguaggio emotivo, le fallacie di appello all’autorità e red herring possono comunque essere considerate forme di appello all’emotività in un senso più ampio, poiché cercano di convincere l’ascoltatore basandosi su fattori diversi dall’argomentazione razionale.

Sulla frase che hai fornito, ci sono un paio di fallacie logiche in gioco:

  1. Ad Hominem: Questo è un attacco diretto verso la persona che fa l’argomento invece che verso l’argomento stesso. In questo caso, si implica che perché l’oratore ha esperienza come ex ministro degli affari domestici, dovrebbe sapere che le cose non sono semplici. La frase suggerisce che la loro mancanza di comprensione (o forse malinteso) è dovuta al loro ruolo precedente, invece di affrontare la sostanza dell’argomento.

  2. Appeal to Complexity: Questa fallacia si verifica quando qualcuno utilizza la complessità come scusa per non pensare in modo approfondito su un problema o per respingere le prove o il ragionamento che contraddicono la propria posizione. In questo contesto, “non è mai così semplice” potrebbe essere visto come un modo per respingere l’argomento iniziale senza affrontare realmente i suoi meriti.

Sebbene non ci sia un’appello esplicito all’emotività nella frase stessa, l’uso di fallacie come Ad Hominem e Appeal to Complexity può a volte appellarvisi in modo sottile a emozioni come disprezzo o frustrazione per argomenti troppo semplificati. Tuttavia, queste non sono appelli diretti all’emotività nello stesso modo in cui una frase come “Dovresti d’accordo perché ti sentirai male se non lo fai” lo sarebbe.

Quindi, sebbene ci siano effettivamente fallacie logiche presenti in questa frase, non sono appelli emotivi espliciti.

Gemma 2 - 9b

Gemma 2 logo

Modello: gemma2:9b-instruct-q8_0

Risposta:

La frase “Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere” contiene alcune fallacie logiche:

  • Appeal to Authority: La frase si basa sull’autorità percepita di un “ex ministro degli affari domestici” per respingere l’argomento iniziale. L’oratore assume che perché la persona ha ricoperto una posizione di potere, la sua opinione ha automaticamente più peso. Questa fallacia ignora la possibilità che il ministro potrebbe essere sbagliato o che la sua competenza non si applichi a questa specifica situazione.

  • Pooh-Pooh: La frase “non è mai così semplice” respinge l’argomento iniziale senza fornire alcun reale contraddittorio o evidenza. È un’affermazione disprezzante che mira a chiudere la conversazione invece di interagire con le idee presentate.

Fammi sapere se vorresti esplorare altri esempi di fallacie logiche!

La frase “Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere” contiene alcune fallacie logiche:

  • Appeal to Authority: La frase suggerisce implicitamente che perché l’oratore menziona un “ex ministro degli affari domestici,” la sua opinione ha più peso. Questo assume che essere un ex ministro automaticamente conferisca competenza su questa specifica questione.

  • Pooh-Pooh: La frase “non è mai così semplice” potrebbe essere considerata una forma di pooh-pooh dell’argomento iniziale. Respinge il ragionamento semplice senza fornire argomenti sostanziali o esplorare le complessità.

Fammi sapere se vorresti analizzare altre frasi o argomenti per fallacie!

Gemma 2 - 27b

Modello: gemma2:27b-instruct-q3_K_L

Risposta:

La frase “Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere” utilizza la fallacia dell’appello all’autorità.

Ecco il motivo:

  • Assume competenza: L’affermazione implica che perché la persona è un ex ministro degli affari domestici, automaticamente ha una conoscenza speciale su complessi problemi sociali come la carenza di alloggi.
  • La competenza non è sempre rilevante: Sebbene un ex ministro potrebbe avere alcune informazioni sulla politica abitativa, l’esperienza non lo rende necessariamente un esperto su tutti i fattori contribuenti a una carenza di alloggi.

La frase cerca di respingere un potenziale argomento valido (“troppa gente, non abbastanza case”) semplicemente perché proviene da qualcuno percepito come non esperto nel campo.

Fammi sapere se hai altre frasi che vorresti analizzare!

La frase contiene alcuni elementi che assomigliano a fallacie logiche, anche se non è un caso chiaro:

  • Appeal to Authority (Debole): “come un ex ministro degli affari domestici dovrebbe sapere.” Questo tenta di dare peso all’argomento invocando l’autorità precedente del parlante. Tuttavia, è debole perché non fornisce alcuna competenza specifica o ragionamento del ministro per sostenere la loro posizione.

  • Ad Hominem (Potenziale): A seconda del contesto e del tono, la frase potrebbe essere vista come un ad hominem se è intesa per discreditare l’argomento opposto semplicemente basandosi su chi lo sta facendo invece di affrontare il contenuto effettivo dell’argomento. Ad esempio, se l’affermazione implica che la persona non è in grado di comprendere la politica abitativa perché era un ministro, sarebbe un ad hominem.

Nota importante: Senza ulteriore contesto su cosa la persona ha effettivamente argomentato e sul tono complessivo, è difficile classificare definitivamente questi come esempi forti di fallacie.

Fammi sapere se hai altre frasi che vorresti che analizzi!

Qwen 2 - 7b

Qwen 2 logo

Modello: qwen2:7b-instruct-q8_0

Risposta:

La frase che hai fornito contiene diverse fallacie logiche:

  1. Appeal to Emotions (Argumentum ad Passiones): L’affermazione “Guarda, a prima vista, sembra perfettamente ragionevole” cerca di evocare un senso di ragionevolezza e semplicità nella mente dell’ascoltatore senza fornire prove sostanziali o argomentazioni.
  2. Red Herring Fallacy: Menzionando che “un ex ministro degli affari domestici dovrebbe sapere,” il parlante introduce un punto irrilevante (la conoscenza di un individuo specifico) per deviare l’attenzione dal problema principale, potenzialmente ingannando l’uditorio a pensare che la competenza della persona sia rilevante quando non lo è.
  3. Appeal to Authority Fallacy: Sebbene non sia esplicitamente dichiarato in questa frase, se qualcuno affermasse che “un ex ministro degli affari domestici” sa qualcosa perché è un ex ministro, commetterebbero una fallacia dell’appello all’autorità, assumendo che la loro posizione conferisca competenza sull’argomento senza fornire prove per la loro specifica conoscenza o argomento.

Queste fallacie logiche possono indebolire la forza di un argomento appellandosi alle emozioni invece che alla logica e alla rilevanza.

La frase che hai fornito:

“Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere.”

non contiene alcuna delle fallacie di appello alle emozioni (Appealum ad passiones) menzionate nella tua lista. Tuttavia, alcune potenziali fallacie logiche potrebbero essere:

  • Ad Hominem se questa citazione fosse utilizzata come attacco a un individuo specifico (’ex ministro degli affari domestici’) invece di affrontare il loro argomento.
  • Red Herring Fallacy: Potrebbe esserci un tentativo di deviare l’attenzione dall’argomento originale o dagli argomenti presentati menzionando argomenti irrilevanti, anche se non c’è un evidente red herring nella frase che hai fornito.

Ci sono anche altre fallacie non menzionate sotto ‘Appeal To Emotions’ come:

  • False Dilemma: Presentare un problema complesso in termini binari semplici dove non può essere discusso adeguatamente. La frase fornita non implica questa fallacia.
  • Appeal to Authority: Usare l’opinione o l’identità di qualcuno famoso invece di prove valide per sostenere un argomento. Non applicabile alla tua citazione poiché non viene invocata alcuna autorità.

Per favore chiarisci se c’era un’altra frase specifica che intendevi analizzare sotto appeal to emotions, e saremo felici di aiutarti con questo.

Qwen 2 - 72b

So, sovrappeso non è dalla nostra categoria, ma solo curioso…

Modello: qwen2:72b-instruct-q2_K

Risposta:

La frase fornita non contiene direttamente un appello alle emozioni come definito nella lista delle fallacie logiche. Tuttavia, implica una potenziale fallacia logica nota come “Appeal to authority” o “Argument from authority.” Questo è perché il parlante suggerisce che l’ex ministro degli affari domestici dovrebbe sapere meglio, implicando che l’autorità su un argomento renderebbe più valida la sua opinione.

La frase non utilizza direttamente un appello emotivo, ma utilizza l’autorità dell’ex ministro degli affari domestici presunta conoscenza come modo per sminuire la semplicità dell’argomento presentato. Questo può essere visto nella struttura della frase: “Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere.”

In sintesi:

  • Fallacia logica presente: Appeal to authority
  • Definizione: Un appello all’autorità si verifica quando un’affermazione è considerata vera in base alla credibilità o all’espertise della persona che la fa, invece che sulla forza delle prove.
  • Esempio nella frase: “come un ex ministro degli affari domestici dovrebbe sapere” implica che l’opinione di qualcuno con tale esperienza ha più peso e potrebbe essere utilizzata per respingere spiegazioni semplici.

La frase che hai fornito non necessariamente evoca una specifica risposta emotiva; piuttosto, appella alla conoscenza e all’esperienza dell’ascoltatore suggerendo che le spiegazioni semplici non raccontano sempre tutta la storia. Tuttavia, se analizzassimo per potenziale appello emotivo:

Appeal to Authority: Indirettamente si riferisce a “un ex ministro degli affari domestici” che dovrebbe sapere meglio di accettare spiegazioni semplici. Questo potrebbe essere visto come un tentativo indiretto di dare autorità e credibilità alla complessità dell’argomento, che può appellarvisi sottile al nostro desiderio di guida da parte di esperti.

La frase non utilizza direttamente appelli emotivi come Paura, Colpa, Ridicolo, Collera, Odio, Disgusto, Flatteria, Pietà, Patriottismo o Pooh-Pooh, ma si riferisce indirettamente all’autorità (appellandosi al nostro rispetto e deferimento) per sottolineare la complessità di questioni che non sono semplicemente risolte accusando “troppa gente” per la mancanza di case. Questo può anche essere correlato a:

Appeal to Reason: Ci spinge a guardare oltre le soluzioni semplici e a considerare che i problemi potrebbero avere cause più profonde o complesse di quanto appaiono a prima vista.

In sintesi, non c’è un forte appello emotivo evidente nella frase, ma cerca di sfruttare l’autorità e la ragione - aspetti spesso apprezzati nel processo decisionale razionale. Questo sottolinea un possibile gioco strategico sulle emozioni di fiducia verso figure autoritative per instillare dubbi verso visioni semplicistiche e incoraggiare considerazioni più ponderate da parte degli ascoltatori che apprezzano la complessità nei problemi sociali. Una versione più raffinata potrebbe potenzialmente evocare elementi correlati a:

  • Paura: Sottile preoccupazione per la semplificazione, suscitando ansia riguardo alle complessità non affrontate.
  • Disgusto: Disgusto implicito per narrazioni semplificate potrebbe essere scatenato se formulato in contesti che criticano discussioni superficiali o ignoranti.

Tuttavia, questi sono indiretti e dipendono pesantemente da contesti specifici in discussioni circostanti. Senza ulteriore contenuto emotivo o specifici appelli caratteristici delle fallacie definite (es. paura-monger, invocare esplicitamente la colpa), questa frase è principalmente centrata sull’invocare la ragione attraverso l’autorità piuttosto che manipolare sentimenti. Questa posizione sottolinea la credibilità, spesso apprezzata quando si analizzano le fallacie che possono manipolare emozioni senza argomenti solidi.

Per riassumere:

  • L’affermazione allude all’autorità (“un ex ministro degli affari domestici”), potenzialmente suscitando rispetto o fiducia (poiché insinua conoscenza interna).
  • Potrebbe indurre un’ansia sottile verso la semplificazione come minaccia (sebbene non vengano utilizzate tecniche esplicite di paura qui).
  • Un contesto più dettagliato potrebbe essere necessario per classificazioni specifiche di appello emotivo poiché gli appelli inerenti derivano da come gli ascoltatori si relazionano emotivamente con questioni al di là dell’affermazione stessa.

Ricorda, le fallacie tipicamente coinvolgono errori logici ma spesso risuonano su bias personali o ansie sociali più profonde, quindi questa frase implica una valutazione attenta su cosa gli ascoltatori potrebbero collegare inconsciamente all’interno di dialoghi più ampi.