Gemma2 vs Qwen2 vs Mistral Nemo vs...

Testen van het detecteren van logische fouten

Inhoud

Onlangs hebben we meerdere nieuwe LLMs gezien die zijn vrijgegeven. Opwindende tijden. Laten we testen en zien hoe ze presteren bij het detecteren van logische fouten.

Presenting mistral nemo

Wat en hoe we doen

In vorige test hebben we al getest hoe LLM zijn detecteren van logische fouten - llama3 vs phi3 vs anderen. Ze doen het vrij goed, we hebben het resultaat van llama3-8b-Q8 en phi3-medium-4k-instruct-q6_K geweldig gevonden.

In deze test doen we hetzelfde met Gemma2, Qwen2 en Mistral Nemo.

We testen de beste modellen die mogelijk zijn, maar ze moeten aan onze beperkingen voldoen - ze moeten passen in onze consumer-grade GPU, die 16 GB VRAM heeft. Met deze criteria in gedachten hebben we de volgende kwantificaties gekozen:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

en deze qwen2 versie:

  • qwen2:72b-instruct-q2_K

Het heeft een grootte van 29GB, maar laten we het toch testen.

Let op dat we hier niet teruggaan naar de ‘default’ kwantificatie q4. Als q8 past in onze GPU’s 16GB VRAM - dan gaan we er voor, proberen het beste mogelijke in onze omstandigheden.

DT;DR: Het resultaat

Vorige modellen die we hebben getest in Detectie van logische fouten met LLMs. Zie in dat bericht wat we testen en nu.

Hier is een bijgewerkte tabel waarin onze nieuwe modellen in vet staan.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

Kortingen in logische foutnamen: A 2 CS=Appeal to common sense

Kortingen in modelnamen:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Oversimplificatie=False dichotomy

Conclusie

We verwachten dat LLMs in een voorbeeldtekst de Strawman-fout, Ad Hominem, Appeal to authority en Oversimplificatie vinden.

De meeste nieuwe modellen kunnen in onze voorbeeldtekst de Appeal to Authority zien, en sommige zien Ad Hominem, enkele Oversimplificatie. Goede resultaten toonden qwen2:7b-instruct-q8_0 en gemma2:9b-instruct-q8_0.

Maar toch, winnaars blijven hetzelfde.

Het “Editor’s choice”-model is phi3:14b-medium-4k-instruct-q6_K. Het past gemakkelijk in 16GB RAM, en is vrij slim. De tweede plaats is voor phi3:3.8b-mini-4k-instruct-q8_0. De groep van llama3-modellen is ook goed.

Mistral Nemo

Laten we eerst de resultaten van Mistral Nemo bekijken, ook al zijn ze niet de beste, omdat ze een aantrekkelijke robot op hun afbeelding hebben.

Mistral nemo 12b

Model: mistral-nemo:12b-instruct-2407-q8_0

Reactie:

De zin die u hebt gegeven bevat twee belangrijke logische fouten:

  1. Appeal to Authority (Argumentum ad Verecundiam): De spreker beroept zich op de autoriteit van een voormalig minister van Binnenlandse Zaken zonder enige specifieke argumenten of bewijzen van deze persoon te geven. Ze nemen gewoon aan dat omdat deze persoon een bepaalde functie heeft gehad, hun mening als geldig moet worden geaccepteerd.

    • Fout: “aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten.”

  2. Red Herring (Irrelevant Conclusion): De spreker begint met het presenteren van een schijnbaar redelijke argument (“te veel mensen, te weinig woningen”) maar verwerpt het vervolgens zonder enige tegenargumenten of bewijzen. In plaats daarvan beroept hij zich op de autoriteit van de voormalige minister.

    • Fout: “Kijk, op eerste gezicht klinkt het allemaal perfect redelijk: te veel mensen, te weinig woningen. Maar het is nooit zo eenvoudig…”

Hoewel de zin geen expliciete gebruik maakt van emotionele taal, kunnen de appeal to authority en de red herring-fouten nog steeds worden beschouwd als vormen van appeal to emotion in een bredere zin, omdat ze proberen de luisteraar te overtuigen op basis van factoren buiten rationele argumentatie.

Op basis van de zin die u hebt gegeven, zijn er een paar logische fouten aanwezig:

  1. Ad Hominem: Dit is een aanval gericht op de persoon die het argument maakt in plaats van het argument zelf. In dit geval wordt aangegeven dat de spreker ervaring heeft als een voormalig minister van Binnenlandse Zaken, dus ze zouden moeten weten dat dingen niet eenvoudig zijn. De zin suggereert dat hun gebrek aan begrip (of misschien misverstand) te wijten is aan hun vorige functie, in plaats van het onderwerp van het argument aan te pakken.

  2. Appeal to Complexity: Deze fout treedt op wanneer iemand complexiteit gebruikt als een excuus om niet diep na te denken over een kwestie of om bewijzen of redenering die tegenovergesteld zijn aan hun eigen standpunt te negeren. In dit geval kan “het is nooit zo eenvoudig” worden gezien als een manier om het oorspronkelijke argument te negeren zonder daadwerkelijk zijn voordelen te bespreken.

Hoewel er geen overduidelijke appel naar emotie in de zin zelf is, kunnen de fouten zoals Ad Hominem en Appeal to Complexity soms subtiel emoties zoals minachting of frustratie met te veel vereenvoudigde argumenten aanspreken. Echter, deze zijn niet directe appeals naar emotie in de zin die een uitspraak zoals “Je zou het moeten stemmen omdat je je anders slecht zult voelen” zou zijn.

Dus, terwijl er inderdaad logische fouten aanwezig zijn in deze zin, zijn ze niet expliciet emotionele aanslagen.

Gemma 2 - 9b

Gemma 2 logo

Model: gemma2:9b-instruct-q8_0

Reactie:

De zin “Kijk, op eerste gezicht klinkt het allemaal perfect redelijk: te veel mensen, te weinig woningen. Maar het is nooit zo eenvoudig, aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten” bevat een paar logische fouten:

  • Appeal to Authority: De zin vertrouwt op de waargenomen autoriteit van een “voormalig minister van Binnenlandse Zaken” om het oorspronkelijke argument te weerleggen. De spreker veronderstelt dat omdat de persoon een functie van macht heeft gehad, hun mening automatisch meer gewicht heeft. Deze fout negeert de mogelijkheid dat de minister verkeerd kan zijn of dat hun expertise niet van toepassing is op deze specifieke situatie.

  • Pooh-Pooh: De zin “het is nooit zo eenvoudig” weigert het oorspronkelijke argument zonder enige echte tegenargumenten of bewijzen. Het is een afwijzende uitspraak die het gesprek wil sluiten in plaats van de ideeën die zijn voorgesteld te bespreken.

Laat me weten als u andere voorbeelden van logische fouten wilt verkennen!

De zin “Kijk, op eerste gezicht klinkt het allemaal perfect redelijk: te veel mensen, te weinig woningen. Maar het is nooit zo eenvoudig, aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten” bevat een paar logische fouten:

  • Appeal to Authority: De zin suggereert impliciet dat omdat de spreker een “voormalig minister van Binnenlandse Zaken” noemt, hun mening meer gewicht heeft. Dit veronderstelt dat het zijn een voormalige minister automatisch expertise op dit specifieke onderwerp geeft.

  • Pooh-Pooh: De zin “het is nooit zo eenvoudig” kan worden beschouwd als een vorm van pooh-poohing het oorspronkelijke argument. Het weigert de directe redenering zonder substantiële tegenargumenten of het complexe aspecten te verkennen.

Laat me weten als u andere zinnen of argumenten wilt analyseren op fouten!

Gemma 2 - 27b

Model: gemma2:27b-instruct-q3_K_L

Reactie:

De zin “Maar het is nooit zo eenvoudig, aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten” gebruikt de appeal to authority-fout.

Hier is waarom:

  • Het veronderstelt expertise: De uitspraak suggereert dat omdat de persoon een voormalig minister van Binnenlandse Zaken is, hij automatisch specifieke kennis heeft over complexe sociale kwesties zoals woningtekorten.
  • Expertise is niet altijd relevant: Hoewel een voormalig minister mogelijk enige inzichten heeft in woningbeleid, betekent dat niet dat hij een expert is op alle bijdragen aan een woningtekort.

De zin probeert een potentieel geldig argument (“te veel mensen, te weinig woningen”) eenvoudigweg te weerleggen omdat het komt van iemand die als niet-expert in het veld wordt beschouwd.

Laat me weten als u andere zinnen heeft die u wilt analyseren!

De zin bevat een paar elementen die lijken op logische fouten, hoewel het niet een duidelijk geval is:

  • Appeal to Authority (zwak): “aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten.” Dit probeert gewicht te geven aan het argument door het vorige gezag van de spreker te noemen. Echter, het is zwak omdat het geen specifieke expertise of redenering van de minister geeft om hun standpunt te ondersteunen.

  • Ad Hominem (potentieel): Afhankelijk van context en toon, kan de zin als een ad hominem aanval worden gezien als het bedoeld is om het tegenargument te ontkrachten op basis van wie het maakt in plaats van het feitelijk inhoud van het argument. Bijvoorbeeld, als de uitspraak suggereert dat de persoon onvermogelijk is om woningbeleid te begrijpen omdat hij een minister was, dan is dat een ad hominem.

Belangrijke Opmerking: Zonder verdere context over wat de persoon daadwerkelijk heeft geargumenteerd en de algemene toon, is het moeilijk om deze duidelijk als sterke voorbeelden van fouten te classificeren.

Laat me weten als u andere zinnen heeft die u wilt analyseren!

Qwen 2 - 7b

Qwen 2 logo

Model: qwen2:7b-instruct-q8_0

Reactie:

De zin die u heeft gegeven bevat verschillende logische fouten:

  1. Appeal to Emotions (Argumentum ad Passiones): De uitspraak “Kijk, op eerste gezicht klinkt het allemaal perfect redelijk” probeert een gevoel van redelijkheid en eenvoud in de luisteraar te wekken zonder substantiële bewijzen of argumentatie.
  2. Red Herring Fallacy: Door te vermelden dat “een voormalig minister van Binnenlandse Zaken zou moeten weten,” introduceert de spreker een ongerelateerd punt (de kennis van een specifieke persoon) om de aandacht af te leiden van het hoofdprobleem, wat de luisteraars mogelijk in de war kan brengen door hen te laten denken dat de persoon’s expertise relevant is, terwijl dat niet het geval hoeft te zijn.
  3. Appeal to Authority Fallacy: Hoewel niet expliciet vermeld in deze zin, zou iemand een appeal to authority-fout begaan als ze zeggen dat “een voormalig minister van Binnenlandse Zaken” iets weet omdat hij een voormalige minister is, zonder bewijs voor hun specifieke kennis of argument.

Deze logische fouten kunnen de kracht van een argument ondermijnen door op emoties te rekenen in plaats van logica en relevantie.

De zin die u heeft gegeven:

“Kijk, op eerste gezicht klinkt het allemaal perfect redelijk: te veel mensen, te weinig woningen. Maar het is nooit zo eenvoudig, aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten.”

bevat geen van de Appeal to Emotions (Appealum ad passiones)-fouten die in uw lijst zijn vermeld. Echter, er kunnen enkele potentiële logische fouten zijn:

  • Ad Hominem als deze aanhaling wordt gebruikt als een aanval op een specifieke persoon (‘voormalig minister van Binnenlandse Zaken’) in plaats van hun argument te bespreken.
  • Red Herring Fallacy: Er kan een poging zijn om de aandacht af te leiden van het oorspronkelijke probleem of argumenten door ongerelateerde onderwerpen te vermelden, hoewel er geen duidelijke red herring in de zin die u hebt gegeven is.

Er zijn ook andere fouten die niet onder ‘Appeal To Emotions’ vallen, zoals:

  • False Dilemma: Een complex probleem in eenvoudige termen presenteren, waarin het niet adequaat kan worden besproken. De zin die is gegeven bevat geen dergelijke fout.
  • Appeal to Authority: Het gebruik van de mening of identiteit van iemand beroemd in plaats van geldige bewijzen om een argument te ondersteunen. Niet van toepassing in uw citaat, omdat geen gezag is aangeroepen.

Laat ons weten als er een andere specifieke zin was die u bedoelde voor analyse onder appeal to emotions, en we zouden graag helpen met dat.

Qwen 2 - 72b

Ik weet, dat is te zwaar voor ons categorie, maar gewoon nieuwsgierig…

Model: qwen2:72b-instruct-q2_K

Reactie:

De gegeven zin bevat niet direct een appel naar emoties zoals gedefinieerd in de lijst met logische fouten. Echter, het suggereert een potentiële logische fout bekend als “Appeal to authority” of “Argument from authority.” Dit is omdat de spreker aangeeft dat de voormalige minister van Binnenlandse Zaken beter zou moeten weten, wat suggereert dat hun gezag op het onderwerp hun mening meer geldig maakt.

De zin gebruikt niet direct een emotionele appel, maar gebruikt het gezag van de voormalige minister van Binnenlandse Zaken’s aangenomen kennis als een manier om de eenvoud van het argument dat wordt voorgesteld te ondermijnen. Dit kan worden gezien in de structuur van de zin: “Maar het is nooit zo eenvoudig, aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten.”

Samenvattend:

  • Logische fout aanwezig: Appeal to authority
  • Definitie: Een appel naar gezag treedt op wanneer een bewering als waar wordt beschouwd op basis van de betrouwbaarheid of expertise van de persoon die de bewering doet in plaats van de kracht van het bewijs.
  • Voorbeeld in zin: “aangezien een voormalig minister van Binnenlandse Zaken zou moeten weten” suggereert dat de mening van iemand met dergelijke ervaring meer gewicht heeft en kan worden gebruikt om eenvoudige verklaringen te weerleggen.

De zin die u heeft gegeven roept geen specifieke emotionele reactie op; in plaats daarvan beroept het zich op de luisteraar’s kennis en ervaring door te suggereren dat eenvoudige verklaringen vaak niet het hele verhaal vertellen. Echter, als we het analyseren op potentiële emotionele aanslag:

Appeal to Authority: Het verwijst indirect naar “een voormalig minister van Binnenlandse Zaken” die beter zou moeten weten dan eenvoudige verklaringen te accepteren. Dit kan als een indirecte poging worden gezien om gezag en betrouwbaarheid te lenen aan de complexiteit van het probleem, wat subtiel kan aanspreken op onze behoefte aan expertadvies.

De zin gebruikt niet direct emotionele aanslagen zoals Angst, Schuld, Ridicule, Woede, Vruchteloosheid, Ekel, Flatter, Medelijden, Patriotisme of Pooh-Pooh, maar het verwijst indirect naar gezag (aanspreken van respect en onderdanigheid) om de complexiteit van kwesties te benadrukken die niet eenvoudig worden opgelost door “te veel mensen” te beschuldigen voor een gebrek aan woningen. Dit kan ook gerelateerd zijn aan:

Appeal to Reason: Het stimuleert ons om te kijken naar meer dan eenvoudige oplossingen en over te gaan tot het idee dat problemen dieper of complexere oorzaken kunnen hebben dan ze op het eerste gezicht lijken.

Over het algemeen, terwijl er geen sterke emotionele aanslag duidelijk is in de zin, probeert het gezag en reden te gebruiken - aspecten die vaak worden geëerd binnen rationeel besluitvorming. Dit benadrukt de betrouwbaarheid, vaak gewaardeerd wanneer logische fouten worden geanalyseerd, die emotionele aspecten kunnen manipuleren zonder solide argumenten.

Een subtielere versie zou mogelijk elementen kunnen aanspreken gerelateerd aan:

  • Angst: Subtiel het opwekken van zorgen over vereenvoudiging, waardoor angst wordt opgewekt over onbehandelde complexiteit.
  • Ekel: Impliceerde afkeer voor vereenvoudigde verhalen kan worden opgewekt als het wordt geplaatst binnen contexten die kritiek zijn op oppervlakkige of onwetende beleidsdiscussies.

Echter, deze zijn indirect en kunnen sterk afhangen van contextuele nuances in omringende discussies. Zonder extra emotionele inhoud of specifieke aanslagen die kenmerkend zijn voor gedefinieerde fouten (bijvoorbeeld, angstbevorderend, expliciet schuldgevoel aanroepen), is deze zin voornamelijk gericht op het aanspreken van reden via gezag in plaats van het manipuleren van gevoelens. Dit positioneert het op een strategische manier op emoties van vertrouwen in gezagfiguren om twijfel te zaaien in eenvoudige visies en aanzet te geven tot meer nadenkend overweging door luisteraars die complexiteit in maatschappelijke kwesties waarderen. Een subtielere versie zou mogelijk elementen kunnen aanspreken gerelateerd aan:

  • Angst: Subtiel het opwekken van zorgen over vereenvoudiging, waardoor angst wordt opgewekt over onbehandelde complexiteit.
  • Ekel: Impliceerde afkeer voor vereenvoudigde verhalen kan worden opgewekt als het wordt geplaatst binnen contexten die kritiek zijn op oppervlakkige of onwetende beleidsdiscussies.

Echter, deze zijn indirect en kunnen sterk afhangen van contextuele nuances in omringende discussies. Zonder extra emotionele inhoud of specifieke aanslagen die kenmerkend zijn voor gedefinieerde fouten (bijvoorbeeld, angstbevorderend, expliciet schuldgevoel aanroepen), is deze zin voornamelijk gericht op het aanspreken van reden via gezag in plaats van het manipuleren van gevoelens. Dit positioneert het op een strategische manier op emoties van vertrouwen in gezagfiguren om twijfel te zaaien in eenvoudige visies en aanzet te geven tot meer nadenkend overweging door luisteraars die complexiteit in maatschappelijke kwesties waarderen. Een subtielere versie zou mogelijk elementen kunnen aanspreken gerelateerd aan:

  • Angst: Subtiel het opwekken van zorgen over vereenvoudiging, waardoor angst wordt opgewekt over onbehandelde complexiteit.
  • Ekel: Impliceerde afkeer voor vereenvoudigde verhalen kan worden opgewekt als het wordt geplaatst binnen contexten die kritiek zijn op oppervlakkige of onwetende beleidsdiscussies.

Echter, deze zijn indirect en kunnen sterk afhangen van contextuele nuances in omringende discussies. Zonder extra emotionele inhoud of specifieke aanslagen die kenmerkend zijn voor gedefinieerde fouten (bijvoorbeeld, angstbevorderend, expliciet schuldgevoel aanroepen), is deze zin voornamelijk gericht op het aanspreken van reden via gezag in plaats van het manipuleren van gevoelens. Dit positioneert het op een strategische manier op emoties van vertrouwen in gezagfiguren om twijfel te zaaien in eenvoudige visies en aanzet te geven tot meer nadenkend overweging door luisteraars die complexiteit in maatschappelijke kwesties waarderen. Een subtielere versie zou mogelijk elementen kunnen aanspreken gerelateerd aan:

  • Angst: Subtiel het opwekken van zorgen over vereenvoudiging, waardoor angst wordt opgewekt over onbehandelde complexiteit.
  • Ekel: Impliceerde afkeer voor vereenvoudigde verhalen kan worden opgewekt als het wordt geplaatst binnen contexten die kritiek zijn op oppervlakkige of onwetende beleidsdiscussies.

Echter, deze zijn indirect en kunnen sterk afhangen van contextuele nuances in omringende discussies. Zonder extra emotionele inhoud of specifieke aanslagen die kenmerkend zijn voor gedefinieerde fouten (bijvoorbeeld, angstbevorderend, expliciet schuldgevoel aanroepen), is deze zin voornamelijk gericht op het aanspreken van reden via gezag in plaats van het manipuleren van gevoelens. Dit positioneert het op een strategische manier op emoties van vertrouwen in gezagfiguren om twijfel te zaaien in eenvoudige visies en aanzet te geven tot meer nadenkend overweging door luisteraars die complexiteit in maatschappelijke kwesties waarderen.

Tot slot:

  • De uitspraak verwijst naar gezag (“een voormalig minister van Binnenlandse Zaken”), wat mogelijk respect of vertrouwen kan wekken (aangezien het insinueren van insiderkennis).
  • Het kan subtiel angst wekken voor vereenvoudiging als bedreiging (hoewel angststrategieën hier niet expliciet worden gebruikt).
  • Een meer gedetailleerde context zou nodig zijn voor specifieke classificaties van emotionele aanslagen, aangezien inheemse aanslagen vaak afhankelijk zijn van hoe luisteraars emotioneel met kwesties verder dan de uitspraak zelf verbinden.

Onthoud dat fouten meestal logische fouten bevatten, maar vaak resoneren op diepere, emotioneel beïnvloede persoonlijke vooroordelen of maatschappelijke angsten – dus dit zin’s implicaties zijn het waard om zorgvuldig te ontrafelen rond wat luisteraars subconscient kunnen verbinden binnen brede dialoog.