Gemma2 vs Qwen2 vs Mistral Nemo vs...

Prueba de detección de falacias lógicas

Índice

Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.

Presentando mistral nemo

¿Qué y cómo lo hacemos

En pruebas anteriores ya probamos cómo los LLM detectan falacias lógicas - llama3 vs phi3 vs otros. Lo hacen bastante bien, nos encantó el resultado de llama3-8b-Q8 y phi3-medium-4k-instruct-q6_K.

En esta prueba hacemos lo mismo usando Gemma2, Qwen2 y Mistral Nemo.

Estamos probando los modelos más adecuados posibles, pero deben cumplir con nuestras restricciones - deben ajustarse a nuestra GPU de consumo, que tiene 16 GB de VRAM. Con este criterio en mente elegimos las siguientes cuantizaciones:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

y esta versión de qwen2:

  • qwen2:72b-instruct-q2_K

Tiene un tamaño de 29 GB, pero vamos a probarla de todos modos.

Por favor, tenga en cuenta que aquí no estamos retrocediendo usando la cuantización ‘por defecto’ q4. si q8 se ajusta a la VRAM de 16 GB de nuestra GPU - lo intentaremos, intentando lo mejor posible en nuestras circunstancias.

DT;DR: El resultado

Modelos previamente probados en Deteción de Falacias Lógicas con LLMs. Por favor, vea en ese post qué probamos y ahora.

Aquí está la tabla actualizada donde nuestros nuevos modelos están en negrita.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

Abreviaturas en los nombres de las falacias lógicas: A 2 CS=Apelación a la sensatez común

Abreviaturas en los nombres de los modelos:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Simplificación excesiva=Falsa dicotomía

Conclusión

Esperamos que los LLMs encuentren en el texto de muestra la falacia de Strawman, Ad Hominem, Apelación a la autoridad y Simplificación excesiva.

La mayoría de los nuevos modelos pueden ver en nuestro texto de muestra la Apelación a la autoridad, y algunos ven Ad Hominem, algunos Simplificación excesiva. Buenos resultados mostraron qwen2:7b-instruct-q8_0 y gemma2:9b-instruct-q8_0.

Pero aún así, los ganadores permanecen los mismos.

El modelo “Editor’s choice” es phi3:14b-medium-4k-instruct-q6_K. Se ajusta fácilmente a 16 GB de RAM, y bastante inteligente. El segundo lugar es para phi3:3.8b-mini-4k-instruct-q8_0. El grupo de modelos llama3 también es bueno.

Mistral Nemo

Vamos a revisar primero los resultados de Mistral Nemo, incluso si no son los mejores, porque tienen un robot bonito en su imagen.

Mistral nemo 12b

Modelo: mistral-nemo:12b-instruct-2407-q8_0

Respuesta:

La frase que proporcionaste contiene dos principales falacias lógicas:

  1. Apelación a la autoridad (Argumentum ad Verecundiam): El hablante apela a la autoridad de un ex ministro de asuntos domésticos sin proporcionar ningún argumento o evidencia específica de esta persona. Simplemente asumen que porque esta persona ocupó un cierto cargo, su opinión debe aceptarse como válida.

    • Falacia: “como un ex ministro de asuntos domésticos debería saber.”

  2. Pescado rojo (Conclusión irrelevante): El hablante comienza presentando un argumento aparentemente razonable (“demasiadas personas, no hay suficientes casas”) pero luego lo desestima sin proporcionar ningún contraargumento o evidencia. En su lugar, apela a la autoridad del ex ministro.

    • Falacia: “Mira, en primer lugar, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple…”

Aunque la frase no utiliza explícitamente lenguaje emocional, las falacias de apelación a la autoridad y pescado rojo aún pueden considerarse formas de apelación a la emoción en un sentido más amplio, ya que intentan persuadir al oyente basándose en factores distintos a la argumentación racional.

Basado en la frase que has proporcionado, hay un par de falacias lógicas en juego:

  1. Ad Hominem: Es un ataque dirigido hacia la persona que hace el argumento en lugar del argumento en sí. En este caso, se implica que porque el hablante tiene experiencia como ex ministro de asuntos domésticos, debería saber que las cosas no son simples. La frase sugiere que su falta de comprensión (o tal vez malentendido) se debe a su rol anterior, en lugar de abordar el contenido del argumento.

  2. Apelación a la complejidad: Esta falacia ocurre cuando alguien usa la complejidad como excusa para no pensar profundamente sobre un tema o para desestimar evidencia o razonamiento que contradice su propia posición. En este contexto, “nunca es tan simple” podría verse como una forma de desestimar el argumento inicial sin realmente abordar sus méritos.

Aunque no hay una apelación explícita a la emoción en la frase en sí misma, el uso de falacias como Ad Hominem y Apelación a la complejidad puede a veces apelar sutilemente a emociones como el desdén o la frustración con argumentos excesivamente simplificados. Sin embargo, estas no son apelaciones directas a la emoción en el mismo sentido que una frase como “Deberías estar de acuerdo porque te sentirás mal si no lo haces”.

Así que, aunque hay ciertas falacias lógicas presentes en esta frase, no son apelaciones emocionales explícitas.

Gemma 2 - 9b

Logotipo de Gemma 2

Modelo: gemma2:9b-instruct-q8_0

Respuesta:

La frase “Mira, en primer lugar, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple, como un ex ministro de asuntos domésticos debería saber” contiene varias falacias lógicas:

  • Apelación a la autoridad: La frase se basa en la autoridad percibida de un “ex ministro de asuntos domésticos” para desestimar el argumento inicial. El hablante asume que porque la persona ocupó un cargo de poder, su opinión tiene más peso. Esta falacia ignora la posibilidad de que el ministro esté equivocado o que su experiencia no se aplique a esta situación específica.

  • Pooh-Pooh: La frase “nunca es tan simple” desestima el argumento inicial sin proporcionar ningún contraargumento real o evidencia. Es una afirmación despectiva que busca cerrar la conversación en lugar de abordar las ideas presentadas.

Por favor, avísame si quieres explorar otros ejemplos de falacias lógicas.

La frase “Mira, en primer lugar, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple, como un ex ministro de asuntos domésticos debería saber” contiene varias falacias lógicas:

  • Apelación a la autoridad: La frase sugiere implícitamente que porque el hablante menciona un “ex ministro de asuntos domésticos”, su opinión tiene más peso. Esto asume que ser un ex ministro automáticamente otorga expertise en este tema particular.

  • Pooh-Pooh: La frase “nunca es tan simple” podría considerarse una forma de pooh-poohing el argumento inicial. Desestima el razonamiento directo sin proporcionar argumentos sustanciales o explorar las complejidades.

Por favor, avísame si quieres analizar otras frases o argumentos para fallacias.

Gemma 2 - 27b

Modelo: gemma2:27b-instruct-q3_K_L

Respuesta:

La frase “Pero nunca es tan simple, como un ex ministro de asuntos domésticos debería saber” emplea la apelación a la autoridad.

Aquí está por qué:

  • Asume expertise: La frase implica que porque la persona es un ex ministro de asuntos domésticos, automáticamente tiene conocimiento especial sobre cuestiones sociales complejas como la escasez de vivienda.
  • El expertise no siempre es relevante: Aunque un ex ministro podría tener alguna visión sobre políticas de vivienda, su experiencia no necesariamente lo convierte en un experto en todos los factores que contribuyen a una escasez de vivienda.

La frase intenta desestimar un argumento potencialmente válido (“demasiadas personas, no hay suficientes casas”) simplemente porque proviene de alguien que se percibe como carecedor de expertise en el campo.

Por favor, avísame si tienes otras frases que quieras analizar.

La frase contiene algunos elementos que se asemejan a falacias lógicas, aunque no es un caso claro:

  • Apelación a la autoridad (débil): “como un ex ministro de asuntos domésticos debería saber.” Esto intenta dar peso al argumento invocando la autoridad previa del hablante. Sin embargo, es débil porque no proporciona ninguna expertise específica o razonamiento del ministro para respaldar su postura.

  • Ad Hominem (potencial): Dependiendo del contexto y el tono, la frase podría verse como un ataque ad hominem si se pretende desacreditar el argumento opuesto simplemente basándose en quién lo hace en lugar de abordar el contenido del argumento. Por ejemplo, si la frase implica que la persona no es capaz de entender las políticas de vivienda porque fue un ministro, eso sería un ad hominem.

Nota importante: Sin más contexto sobre lo que realmente argumentó la persona y el tono general, es difícil clasificar estos como ejemplos fuertes de falacias.

Por favor, avísame si tienes otras frases que quieras que analice.

Qwen 2 - 7b

Logotipo de Qwen 2

Modelo: qwen2:7b-instruct-q8_0

Respuesta:

La frase que proporcionaste contiene varias falacias lógicas:

  1. Apelación a las emociones (Argumentum ad Passiones): La afirmación “Mira, en primer lugar, todo suena perfectamente razonable” intenta evocar un sentido de razonabilidad y simplicidad en la mente del oyente sin proporcionar evidencia sustancial o argumentación.
  2. Falacia del pescado rojo: Al mencionar que “un ex ministro de asuntos domésticos debería saber”, el hablante introduce un punto irrelevante (el conocimiento de una persona específica) para desviar la atención del tema principal, potencialmente engañando al público para que piense que el conocimiento de la persona es relevante cuando podría no serlo.
  3. Falacia de apelación a la autoridad: Aunque no se menciona explícitamente en esta frase, si alguien afirmara que “un ex ministro de asuntos domésticos” sabe algo porque fue un ministro, estaría cometiendo una falacia de apelación a la autoridad, asumiendo que su cargo le otorga expertise en el asunto sin proporcionar evidencia de su conocimiento específico o argumento.

Estas falacias lógicas pueden debilitar la fuerza de un argumento al apelar a las emociones en lugar de la lógica y la relevancia.

La frase que proporcionaste:

“Mira, en primer lugar, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple, como un ex ministro de asuntos domésticos debería saber.”

no contiene ninguna de las falacias de apelación a las emociones (Apelación ad passiones) mencionadas en tu lista. Sin embargo, algunas potenciales falacias lógicas podrían ser:

  • Ad Hominem si esta cita se usa como un ataque contra una persona específica (’ex ministro de asuntos domésticos’) en lugar de abordar su argumento.
  • Falacia del pescado rojo: Podría haber un intento de desviar la atención del tema principal o argumentos al mencionar temas irrelevantes, aunque no se ve un pescado rojo obvio en la oración que proporcionaste.

También hay otras falacias no mencionadas bajo ‘Apelación a las emociones’ como:

  • Falsa dicotomía: Presentar un tema complejo en términos binarios simples donde no se puede discutir adecuadamente. La oración proporcionada no implica este tipo de falacia.
  • Apelación a la autoridad: Usar la opinión o identidad de alguien famoso en lugar de evidencia válida para respaldar un argumento. No es aplicable en tu cita ya que no se invoca ninguna autoridad.

Por favor, aclarame si había otra frase específica que quisiste analizar bajo apelación a las emociones, y estaremos encantados de ayudarte con eso.

Qwen 2 - 72b

Sé, que eso de sobrepeso no es de nuestro catálogo, pero solo por curiosidad…

Modelo: qwen2:72b-instruct-q2_K

Respuesta:

La frase proporcionada no contiene directamente una apelación a las emociones tal como se define en la lista de falacias lógicas. Sin embargo, sí implica una posible falacia lógica conocida como “Apelación a la autoridad” o “Argumento de autoridad”. Esto se debe a que el hablante sugiere que el ex ministro de Asuntos Internos debería saber mejor, implicando que su autoridad sobre el tema hace que su opinión sea más válida.

La frase no utiliza directamente una apelación emocional, sino que utiliza la autoridad del ex ministro de Asuntos Internos, supuestamente conocimiento, como una forma de socavar la simplicidad del argumento que se presenta. Esto se puede ver en la estructura de la oración: “Pero nunca es tan simple, como un ex ministro de Asuntos Internos debería saber”.

En resumen:

  • Falacia lógica presente: Apelación a la autoridad
  • Definición: Una apelación a la autoridad ocurre cuando una afirmación se considera verdadera basándose en la credibilidad o expertise de la persona que la hace, en lugar de la fuerza de la evidencia.
  • Ejemplo en la frase: “como un ex ministro de Asuntos Internos debería saber” implica que la opinión de alguien con tal experiencia tiene más peso y podría usarse para descartar explicaciones más simples.

La frase que has proporcionado no necesariamente evoca una respuesta emocional específica; más bien, apela al conocimiento y la experiencia del oyente sugiriendo que las explicaciones simples a menudo no cuentan toda la historia. Sin embargo, si analizamos la frase para posibles apelaciones emocionales:

Apelación a la autoridad: Indirectamente se menciona “un ex ministro de Asuntos Internos” que debería saber mejor que aceptar explicaciones simples. Esto podría verse como un intento indirecto de otorgar autoridad y credibilidad a la complejidad del asunto, lo cual puede apelar suavemente a nuestro deseo de recibir orientación de expertos.

La frase no utiliza directamente apelaciones emocionales como el miedo, la culpa, el ridículo, la ira, el resentimiento, el asco, la flatería, la compasión, el patriotismo o el pooh-pooh, pero indirectamente se refiere a la autoridad (apelando a nuestro respeto y deferencia) para subrayar la complejidad de los asuntos que no se resuelven simplemente culpando a “demasiadas personas” por la falta de viviendas. Esto también puede relacionarse con:

Apelación a la razón: Nos invita a mirar más allá de soluciones simples y considerar que los problemas pueden tener causas más profundas o complejas de lo que parecen a primera vista.

En general, aunque no haya una fuerte apelación emocional evidente en la frase, sí intenta aprovechar la autoridad y la razón - aspectos a menudo valorados en la toma de decisiones racionales. Esto destaca una posible jugada estratégica sobre emociones de confianza hacia figuras autoritarias para generar dudas sobre vistas simples y fomentar consideraciones más reflexivas por parte de los oyentes que valoran la complejidad en cuestiones sociales.

Una versión más refinada podría potencialmente invocar elementos relacionados con:

  • Miedo: Subtlemente levantando preocupaciones sobre la simplificación, así invocando ansiedad sobre complejidades no abordadas.
  • Asco: Desagrado implícito hacia narrativas simplificadas podría ser activado si se enmarca dentro de contextos que crítican discusiones políticas superficiales o ignorantes.

Sin embargo, estos son indirectos y pueden depender en gran medida de matices contextuales en discusiones circundantes. Sin contenido emocional adicional o apelaciones específicas características de falacias definidas (por ejemplo, el miedo, la invocación explícita de culpa), esta frase se centra principalmente en invocar la razón a través de la autoridad en lugar de manipular sentimientos. Esta posición resalta la credibilidad, a menudo valorada cuando se analizan falacias lógicas que pueden manipular emociones sin argumentos sólidos.

Para resumir:

  • La afirmación alude a la autoridad (“un ex ministro de Asuntos Internos”), potencialmente despertando respeto o confianza (ya que insinúa conocimiento interno).
  • Podría inducir una ansiedad sutil hacia el simplismo como una amenaza (aunque no se emplean tácticas explícitas de miedo aquí).
  • Un contexto más detallado podría ser necesario para clasificaciones específicas de apelación emocional, ya que las apelaciones inherentes suelen derivarse de cómo los oyentes se relacionan emocionalmente con temas más allá de la afirmación en sí misma.

Recuerda, las falacias típicamente involucran errores lógicos pero a menudo resuenan en profundidades, sesgos personales o ansiedades sociales influenciados emocionalmente – por lo tanto, las implicaciones de esta frase merecen ser desempaquetadas cuidadosamente alrededor de lo que los oyentes podrían conectar subconscientemente dentro de diálogos más amplios.

Enlaces útiles