Gemma2 vs. Qwen2 vs. Mistral Nemo vs...
Testen der Erkennung logischer Fehlschlüsse
Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.
Was und wie wir tun
In einem früheren Test haben wir bereits getestet, wie LLM logical fallacies detect - llama3 vs phi3 vs others. Sie tun es ziemlich gut, wir haben das Ergebnis von llama3-8b-Q8 und phi3-medium-4k-instruct-q6_K geliebt.
In diesem Test tun wir dasselbe mit Gemma2, Qwen2 und Mistral Nemo.
Wir testen die besten Modelle, die möglich sind, aber sie müssen unsere Einschränkungen erfüllen - sie müssen in unsere Consumer-GPU passen, die 16 GB VRAM hat. Mit diesem Kriterium im Hinterkopf haben wir folgende Quantisierungen ausgewählt:
- gemma2:9b-instruct-q8_0
- gemma2:27b-instruct-q3_K_L
- mistral-nemo:12b-instruct-2407-q8_0
- qwen2:7b-instruct-q8_0
und diese qwen2 Version:
- qwen2:72b-instruct-q2_K
Es hat eine Größe von 29 GB, aber lassen Sie uns es dennoch testen.
Bitte beachten Sie hier, dass wir nicht auf die ‘default’ Quantisierung q4 zurückgreifen. Wenn q8 in unsere GPU mit 16 GB VRAM passt - wir gehen für sie, versuchen das Beste in unseren Umständen.
DT;DR: Das Ergebnis
Frühere Modelle, die wir getestet haben in Logical Fallacy Detection with LLMs. Bitte sehen Sie in diesem Beitrag, was wir testen und jetzt.
Hier ist die aktualisierte Tabelle, in der unsere neuen Modelle fett sind.
| ModelVersion | GPU RAM | A2CS | Straw man | Ad homi-nem | Red Herring | Appeal to igno-rance | Appeal to autho-rity | False dicho-tomy | Hasty Gene-rali-zation | Begging the Ques-tion | Slippery Slope | Post hoc ergo propter hoc | Tu quo-que | Other |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| l3:8b-i-q4_0 | 5,8GB | V V | V V | V | V | |||||||||
| l3:8b-i-q8_0 | 9,1GB | V | V | V V | V V | |||||||||
| l3:8b-i-fp16 | 9,1GB | V | V V | V V | ||||||||||
| p3:3.8b | 4,3GB | V V | V | V V | V | |||||||||
| p3:3.8b-mini-4k-i-q8_0 | 5,8GB | V V | V V | V V | V | V V | ||||||||
| p3:3.8b-mini-i-4k-fp16 | 8,9GB | V | V | V V | V | V | ||||||||
| p3:14b | 9,3GB | V V | V V | |||||||||||
| p3:14b-m-4k-i-q6_K | 12,5GB | V V | V V | V | V | |||||||||
| p3:14b-m-4k-i-q8_0 | 15,3GB | V V | V | V V | ||||||||||
| mi:7b-i-v0.3-q4_0 | 4,3GB | V V | V | V V | V V | V V | ||||||||
| mi:7b-i-v0.3-q8_0 | 8,6GB | V V | V V | V V | ||||||||||
| mi:7b-i-v0.3-fp16 | 14,7GB | V V | V | |||||||||||
| ge:7b-i-v1.1-q4_0 | 7,2GB | V V | V V | |||||||||||
| ge:7b-i-v1.1-q6_K | 9,1GB | V V | V | V V | ||||||||||
| ge:7b-i-v1.1-fp16 | 15,5GB | V V | V V | V | ||||||||||
| qw:14b-chat-v1.5-q8_0 | 15,2GB | V V | V | V V | ||||||||||
| qw:7b-chat-v1.5-fp16 | 15,5GB | V V | V V | |||||||||||
| qw:32b-chat-v1.5-q3_K_S | 15,1GB | V | V | V | V | |||||||||
| qw:32b-chat-v1.5-q3_K_M | 15,4GB | V V | V V | V V | V V | |||||||||
| ge2:9b-i-q8_0 | 9,0GB | V V | V V | |||||||||||
| ge2:27b-i-q3_K_L | 14,0GB | V | V V | |||||||||||
| mi-nemo:12b-i-.q8_0 | 13,0GB | V | V | V | V | |||||||||
| qw2:7b-i-q8_0 | 8,1GB | V | V V | V V | V | |||||||||
| qw2:72b-i-q2_K | 29,0GB | V V | V |
Kurzformen in Namen logischer Fehlschlüsse: A 2 CS=Appeal to common sense
Kurzformen in Modellnamen:
- l3=llama3
- p3=phi3
- i=instruct
- m=medium
- mi=mistral
- ge=gemma
- qw=qwen
- ge2=gemma2
- qw2=qwen2
Übersimplifizierung=False dichotomy
Schlussfolgerung
Wir erwarten, dass LLMs in einem Beispieltext die Strawman-Fehlschlusse, Ad Hominem, Appeal to authority und Oversimplification erkennen.
Die meisten neuen Modelle können in unserem Beispieltext Appeal to Authority erkennen, und einige erkennen Ad Hominem, einige Oversimplification. Gute Ergebnisse zeigten qwen2:7b-instruct-q8_0 und gemma2:9b-instruct-q8_0.
Aber dennoch bleiben die Gewinner dieselben.
Das “Editor’s choice”-Modell ist phi3:14b-medium-4k-instruct-q6_K. Es leicht in 16 GB RAM passt, und ziemlich intelligent. Der zweite Platz geht an phi3:3.8b-mini-4k-instruct-q8_0. Die Gruppe der llama3-Modelle ist ebenfalls gut.
Mistral Nemo
Lassen Sie uns zunächst die Ergebnisse von Mistral Nemo überprüfen, obwohl sie nicht die besten sind, weil sie auf ihrem Bild einen attraktiven Roboter haben.
Modell: mistral-nemo:12b-instruct-2407-q8_0
Antwort:
Der von Ihnen bereitgestellte Satz enthält zwei Hauptlogikfehlschlüsse:
-
Appeal to Authority (Argumentum ad Verecundiam): Der Sprecher beruft sich auf die Autorität eines ehemaligen Ministers für Inneres, ohne irgendeine spezifische Argumentation oder Beweise von dieser Person zu liefern. Sie nehmen einfach an, dass, weil diese Person eine bestimmte Position innehat, ihre Meinung als gültig angenommen werden sollte.
- Fehlschluss: „als ehemaliger Minister für Inneres sollte man wissen.“
-
Red Herring (Irrelevante Schlussfolgerung): Der Sprecher beginnt mit einer scheinbar vernünftigen Argumentation („zu viele Menschen, zu wenig Häuser“), verwerft sie jedoch ohne irgendeine Gegenargumentation oder Beweise. Stattdessen beruft er sich auf die Autorität des ehemaligen Ministers.
- Fehlschluss: „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach…“
Obwohl der Satz nicht offensichtlich emotionale Sprache verwendet, können die Fehlschlüsse Appeal to Authority und Red Herring in einem breiteren Sinne als Formen von Appeal to Emotion betrachtet werden, da sie versuchen, den Zuhörer aufgrund von Faktoren zu überzeugen, die nicht auf rationaler Argumentation beruhen.
Basierend auf dem von Ihnen bereitgestellten Satz sind mehrere logische Fehlschlüsse vorhanden:
-
Ad Hominem: Dies ist ein Angriff, der gegen die Person gerichtet ist, die das Argument macht, anstatt das Argument selbst. In diesem Fall wird impliziert, dass der Sprecher aufgrund seiner Erfahrung als ehemaliger Minister für Inneres wissen sollte, dass Dinge nicht einfach sind. Der Satz suggeriert, dass sein Nichtverstehen (oder möglicherweise Missverständnis) auf seine frühere Rolle zurückgeht, anstatt den Inhalt des Arguments zu adressieren.
-
Appeal to Complexity: Dieser Fehlschluss tritt auf, wenn jemand Komplexität als Ausrede für nicht tiefes Nachdenken über ein Problem oder für das Verwerfen von Beweisen oder Argumenten verwendet, die gegen seine eigene Position laufen. In diesem Kontext könnte „es ist nie so einfach“ als eine Art, das ursprüngliche Argument ohne tatsächlich auf seine Vorteile einzugehen, abzuweisen, gesehen werden.
Obwohl der Satz selbst keine offensichtliche emotionale Berufung enthält, können Fehlschlüsse wie Ad Hominem und Appeal to Complexity manchmal subtil emotionale Aspekte wie Verachtung oder Frustration mit übermäßig vereinfachten Argumenten ansprechen. Allerdings sind diese nicht direkt emotionale Berufungen in der gleichen Weise wie eine Aussage wie „Sie sollten zustimmen, weil Sie sich schlecht fühlen, wenn Sie nicht tun“.
Also, obwohl es tatsächlich logische Fehlschlüsse in diesem Satz gibt, sind sie nicht explizit emotionale Berufungen.
Gemma 2 - 9b
Modell: gemma2:9b-instruct-q8_0
Antwort:
Der Satz „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte“ enthält einige logische Fehlschlüsse:
-
Appeal to Authority: Der Satz beruht auf der wahrgenommenen Autorität eines „ehemaligen Ministers für Inneres“, um das ursprüngliche Argument abzulehnen. Der Sprecher nimmt an, dass, weil die Person eine Position der Macht innehat, ihre Meinung automatisch mehr Gewicht hat. Dieser Fehlschluss ignoriert die Möglichkeit, dass der Minister falsch liegen könnte oder dass seine Expertise nicht auf dieses spezifische Thema anwendbar ist.
-
Pooh-Pooh: Der Satz „es ist nie so einfach“ verwerfen das ursprüngliche Argument ohne irgendeine echte Gegenargumentation oder Beweise. Es ist eine abweisende Aussage, die darauf abzielt, die Konversation zu beenden, anstatt mit den präsentierten Ideen zu interagieren.
Lassen Sie mich wissen, wenn Sie andere Beispiele für logische Fehlschlüsse erkunden möchten!
Der Satz „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte“ enthält einige logische Fehlschlüsse:
-
Appeal to Authority: Der Satz impliziert, dass, weil der Sprecher einen „ehemaligen Minister für Inneres“ erwähnt, seine Meinung mehr Gewicht hat. Dies nimmt an, dass das sein als ehemaliger Minister automatisch Expertise auf dieses spezifische Thema verleiht.
-
Pooh-Pooh: Der Satz „es ist nie so einfach“ könnte als eine Form von Pooh-Poohing des ursprünglichen Arguments angesehen werden. Er verwerfen die einfache Argumentation ohne substantielle Gegenargumente oder Exploration der Komplexitäten.
Lassen Sie mich wissen, wenn Sie andere Sätze oder Argumente für Fehlschlüsse analysieren möchten!
Gemma 2 - 27b
Modell: gemma2:27b-instruct-q3_K_L
Antwort:
Der Satz „Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte“ verwendet den Appeal to Authority-Fehlschluss.
Hier ist der Grund:
- Es nimmt Expertise an: Die Aussage impliziert, dass, weil die Person ein ehemaliger Minister für Inneres ist, sie automatisch besondere Kenntnisse über komplexe soziale Themen wie Wohnungsnot hat.
- Expertise ist nicht immer relevant: Obwohl ein ehemaliger Minister möglicherweise einige Einsichten in die Wohnungsrichtlinien hat, macht seine Erfahrung nicht unbedingt zu einem Experten für alle Faktoren, die zu einer Wohnungsnot führen.
Der Satz versucht, ein möglicherweise gültiges Argument („zu viele Menschen, zu wenig Häuser“) einfach deshalb abzuweisen, weil es von jemandem kommt, der als nicht fachkundig im Bereich wahrgenommen wird.
Lassen Sie mich wissen, wenn Sie andere Sätze analysieren möchten!
Der Satz enthält einige Elemente, die logischen Fehlschlüssen ähneln, obwohl es nicht eindeutig ist:
-
Appeal to Authority (Schwach): „wie ein ehemaliger Minister für Inneres wissen sollte.“ Dies versucht, dem Argument Gewicht zu verleihen, indem es die vorherige Autorität des Sprechers anruft. Allerdings ist es schwach, weil es keine spezifische Expertise oder Argumentation des Ministers liefert, um seine Position zu stützen.
-
Ad Hominem (Potenziell): Je nach Kontext und Ton könnte der Satz als ad hominem-Angriff angesehen werden, wenn er darauf abzielt, das Gegenargument einfach aufgrund dessen, wer es macht, zu diskreditieren, anstatt den tatsächlichen Inhalt des Arguments zu adressieren. Zum Beispiel, wenn die Aussage andeutet, dass die Person nicht in der Lage ist, Wohnungsrichtlinien zu verstehen weil sie ein Minister war, wäre das ein ad hominem.
Wichtiger Hinweis: Ohne weitere Kontextinformationen über das, was die Person tatsächlich argumentiert hat und den allgemeinen Ton, ist es schwierig, diese als starke Beispiele für Fehlschlüsse zu klassifizieren.
Lassen Sie mich wissen, wenn Sie andere Sätze analysieren möchten!
Qwen 2 - 7b
Modell: qwen2:7b-instruct-q8_0
Antwort:
Der von Ihnen bereitgestellte Satz enthält mehrere logische Fehlschlüsse:
- Appeal to Emotions (Argumentum ad Passiones): Die Aussage „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig“ versucht, bei dem Zuhörer ein Gefühl von Vernünftigkeit und Einfachheit zu wecken, ohne substantielle Beweise oder Argumentation zu liefern.
- Red Herring-Fallacy: Durch die Erwähnung, dass „ein ehemaliger Minister für Inneres wissen sollte“, führt der Sprecher ein irrelevantes Thema (die Kenntnis eines bestimmten Individuums) ein, um die Aufmerksamkeit von der eigentlichen Angelegenheit abzulenken, was möglicherweise die Zuhörer täuschen könnte, wenn sie denken, dass die Person’s Expertise relevant ist, obwohl sie es nicht sein könnte.
- Appeal to Authority-Fallacy: Obwohl nicht explizit in diesem Satz erwähnt, wenn jemand behauptet, dass „ein ehemaliger Minister für Inneres“ etwas weiß, weil er ein ehemaliger Minister ist, würde er einen Appeal to Authority-Fehlschluss begehen, indem er annehmen würde, dass seine Position ihm Expertise auf das Thema verleiht, ohne Beweise für seine spezifische Kenntnis oder Argumentation zu liefern.
Diese logischen Fehlschlüsse können die Stärke eines Arguments untergraben, indem sie auf Emotionen statt auf Logik und Relevanz zurückgreifen.
Der von Ihnen bereitgestellte Satz:
„Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte.“
enthält keine der in Ihrer Liste erwähnten Appeal to Emotions-Fehlschlüsse. Allerdings könnten einige potenzielle logische Fehlschlüsse sein:
- Ad Hominem, wenn dieser Zitat als Angriff gegen eine bestimmte Person („ehemaliger Minister für Inneres“) verwendet wird, anstatt ihr Argument zu adressieren.
- Red Herring-Fallacy: Es könnte ein Versuch sein, die Aufmerksamkeit von der ursprünglichen Angelegenheit oder Argumenten abzulenken, indem irrelevanten Themen erwähnt werden, obwohl in dem Satz, den Sie bereitgestellt haben, kein offensichtlicher Red Herring vorhanden zu sein scheint.
Es gibt auch andere Fehlschlüsse, die nicht unter „Appeal To Emotions“ erwähnt wurden, wie:
- False Dilemma: Eine komplexe Angelegenheit in einfache binäre Begriffe darzustellen, wodurch sie nicht ausreichend diskutiert werden kann. Der bereitgestellte Satz impliziert nicht diesen Fehlschluss.
- Appeal to Authority: Das Verwenden der Meinung oder Identität einer berühmten Person anstelle von gültigen Beweisen, um ein Argument zu stützen. Nicht anwendbar in Ihrem Zitat, da keine Autorität angesprochen wird.
Bitte klären Sie, wenn Sie einen anderen spezifischen Satz für die Analyse unter Appeal to Emotions meinten, und wir würden gerne helfen.
Qwen 2 - 72b
Ich weiß, dass das Übergewicht nicht aus unserem Bereich stammt, aber nur aus Neugier…
Modell: qwen2:72b-instruct-q2_K
Antwort:
Der bereitgestellte Satz enthält nicht direkt einen Appeal to Emotions, wie in der Liste der logischen Fehlschlüsse definiert. Allerdings impliziert er einen potenziellen logischen Fehlschluss, der als Appeal to Authority oder „Argument from Authority“ bezeichnet wird. Dies liegt daran, dass der Sprecher andeutet, dass der ehemalige Minister für Inneres besser wissen sollte, was impliziert, dass die Autorität der Person das Argument stärker macht.
Der Satz verwendet nicht direkt eine emotionale Berufung, sondern nutzt die vermeintliche Kenntnis des ehemaligen Ministers für Inneres, um die Einfachheit des präsentierten Arguments zu untergraben. Dies kann in der Struktur des Satzes gesehen werden: „Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte.“
Zusammenfassend:
- Logischer Fehlschluss vorhanden: Appeal to Authority
- Definition: Ein Appeal to Authority tritt auf, wenn eine Aussage als wahr angesehen wird, basierend auf der Glaubwürdigkeit oder Expertise der Person, die die Aussage macht, anstatt auf die Stärke der Beweise.
- Beispiel im Satz: „wie ein ehemaliger Minister für Inneres wissen sollte“ impliziert, dass die Meinung einer Person mit solcher Erfahrung mehr Gewicht hat und könnte verwendet werden, um einfachere Erklärungen abzulehnen.
Der von Ihnen bereitgestellte Satz erweckt nicht unbedingt eine spezifische emotionale Reaktion; vielmehr beruft er sich auf das Wissen und die Erfahrung des Zuhörers, indem er andeutet, dass einfache Erklärungen oft nicht die ganze Geschichte erzählen. Allerdings, wenn wir ihn auf potenzielle emotionale Berufung analysieren:
Appeal to Authority: Es verweist indirekt auf „einen ehemaligen Minister für Inneres“, der besser wissen sollte, als einfache Erklärungen zu akzeptieren. Dies könnte als indirekter Versuch gesehen werden, die Autorität und Glaubwürdigkeit der Komplexität der Angelegenheit zu unterstreichen, was subtil auf unsere Sehnsucht nach Expertenrat abzielt.
Der Satz verwendet nicht direkt emotionale Berufungen wie Angst, Schuld, Spott, Wut, Hass, Ekel, Flattery, Mitleid, Patriotismus oder Pooh-Pooh, aber er verweist indirekt auf Autorität (um unsere Respekt und Unterordnung zu unterstreichen), um die Komplexität von Themen zu betonen, die nicht einfach durch das Schuldzuweisung „zu viele Menschen“ für ein Mangel an Häusern gelöst werden können. Dies könnte auch mit folgendem verbunden sein:
Appeal to Reason: Es ermutigt uns, über einfache Lösungen hinauszublicken und zu erkennen, dass Probleme möglicherweise tiefer oder komplexere Ursachen haben, als sie auf den ersten Blick erscheinen.
Zusammengefasst:
- Die Aussage verweist auf Autorität („ein ehemaliger Minister für Inneres“), was möglicherweise Respekt oder Vertrauen weckt (da es impliziert, dass es Insiderwissen gibt).
- Es könnte subtil Angst vor Simplismus als Bedrohung auslösen (obwohl keine offensichtlichen Angsttaktiken hier eingesetzt werden).
- Ein detaillierterer Kontext könnte erforderlich sein, um spezifische emotionale Berufungen zu klassifizieren, da inhärente Berufungen oft aus dem, wie Zuhörer emotional mit Themen verbunden sind, außerhalb des Satzes selbst abgeleitet werden.
Erinnern Sie sich, dass Fehlschlüsse typischerweise logische Fehler beinhalten, aber oft auf tieferen, emotional beeinflussten persönlichen Vorurteilen oder gesellschaftlichen Ängsten basieren – also macht dieser Satz seine Implikationen wert, sorgfältig zu analysieren, was Zuhörer subkonskient innerhalb breiterer Dialoge verknüpfen könnten.
