Gemma2 vs Qwen2 vs Mistral Nemo vs...

Prueba de detección de falacias lógicas

Índice

Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.

Para obtener más información sobre el rendimiento de los LLMs—rendimiento vs latencia, límites de VRAM y benchmarks a través de runtimes y hardware—consulte Rendimiento de LLM: Benchmarks, Cuellos de botella y Optimización.

Presentando mistral nemo

¿Qué y cómo lo hacemos

En pruebas anteriores ya probamos cómo los LLM detectan falacias lógicas - llama3 vs phi3 vs otros. Lo hacen bastante bien, nos encantó el resultado de llama3-8b-Q8 y phi3-medium-4k-instruct-q6_K.

En esta prueba hacemos lo mismo usando Gemma2, Qwen2 y Mistral Nemo.

Estamos probando los modelos más adecuados posibles, pero deben cumplir con nuestras restricciones - deben ajustarse a nuestra GPU de consumo, que tiene 16 GB de VRAM. Con este criterio en mente elegimos las siguientes cuantizaciones:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

y esta versión de qwen2:

  • qwen2:72b-instruct-q2_K

Tiene un tamaño de 29 GB, pero hagamos la prueba de todos modos.

Por favor, tenga en cuenta que aquí no estamos recayendo en la cuantización ‘por defecto’ q4. si q8 se ajusta a la VRAM de 16 GB de nuestra GPU - nos vamos por ella, intentando lo mejor posible en nuestras circunstancias.

DT;DR: El resultado

Modelos anteriores que probamos en Detección de Falacias Lógicas con LLMs. Por favor, vea en esa entrada qué probamos y ahora.

Aquí está la tabla actualizada donde nuestros nuevos modelos están en negrita.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

Abreviaturas en nombres de falacias lógicas: A 2 CS=Apelación a la sensatez común

Abreviaturas en nombres de modelos:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Simplificación excesiva=Falsa dicotomía

Conclusión

Esperamos que los LLMs encuentren en el texto de muestra la falacia de Strawman, Ad Hominem, Apelación a la autoridad y Simplificación excesiva.

La mayoría de los nuevos modelos pueden ver en nuestro texto de muestra Apelación a la autoridad, y algunos ven Ad Hominem, algunos Simplificación excesiva. Buenos resultados mostraron qwen2:7b-instruct-q8_0 y gemma2:9b-instruct-q8_0.

Pero aún así, los ganadores permanecen los mismos.

El modelo “Editor’s choice” es phi3:14b-medium-4k-instruct-q6_K. Se ajusta con facilidad a 16 GB de RAM, y bastante inteligente. El segundo lugar es para phi3:3.8b-mini-4k-instruct-q8_0. El grupo de modelos llama3 también es bueno.

Mistral Nemo

Vamos a revisar primero los resultados de Mistral Nemo, incluso si no son los mejores, porque tienen un robot bonito en su imagen.

Mistral nemo 12b

Modelo: mistral-nemo:12b-instruct-2407-q8_0

Respuesta:

La frase que proporcionaste contiene dos principales falacias lógicas:

  1. Apelación a la autoridad (Argumentum ad Verecundiam): El hablante apela a la autoridad de un ex ministro de asuntos del hogar sin proporcionar ningún argumento o evidencia específica de esta persona. Simplemente asumen que porque esta persona ocupó un cierto cargo, su opinión debe aceptarse como válida.

    • Falacia: “como un ex ministro de asuntos del hogar debe saber.”

  2. Red Herring (Conclusión Irrelevante): El hablante comienza presentando un argumento aparentemente razonable (“demasiadas personas, no hay suficientes casas”) pero luego lo rechaza sin proporcionar ningún contraargumento o evidencia. En su lugar, apela a la autoridad del ex ministro.

    • Falacia: “Mira, a primera vista, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple…”

Aunque la frase no utiliza explícitamente lenguaje emocional, las falacias de apelación a la autoridad y la red herring pueden considerarse formas de apelación a la emoción en un sentido más amplio, ya que tratan de convencer al oyente basándose en factores distintos a la argumentación racional.

Basado en la frase que has proporcionado, hay un par de falacias lógicas en juego:

  1. Ad Hominem: Es un ataque dirigido hacia la persona que hace el argumento en lugar del argumento en sí. En este caso, se implica que, debido a la experiencia del hablante como ex ministro de asuntos del hogar, deben saber que las cosas no son simples. La frase sugiere que su falta de comprensión (o tal vez malentendido) se debe a su rol anterior, en lugar de abordar la sustancia del argumento.

  2. Apelación a la complejidad: Esta falacia ocurre cuando alguien usa la complejidad como excusa para no pensar profundamente sobre un asunto o para descartar evidencia o razonamiento que contradice su propia posición. En este contexto, “nunca es tan simple” podría verse como una forma de descartar el argumento inicial sin realmente abordar sus méritos.

Aunque no hay una apelación explícita a la emoción en la frase en sí misma, el uso de falacias como Ad Hominem y Apelación a la complejidad pueden a veces apelar sutilemente a emociones como el desdén o la frustración con argumentos demasiado simplificados. Sin embargo, estas no son apelaciones directas a la emoción en la misma forma que una afirmación como “Deberías estar de acuerdo porque te sentirás mal si no lo haces” lo sería.

Así que, aunque hay ciertas falacias lógicas presentes en esta frase, no son apelaciones emocionales explícitas.

Gemma 2 - 9b

Logo de Gemma 2

Modelo: gemma2:9b-instruct-q8_0

Respuesta:

La frase “Mira, a primera vista, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple, como un ex ministro de asuntos del hogar debería saber” contiene algunas falacias lógicas:

  • Apelación a la autoridad: La frase se basa en la autoridad percibida de un “ex ministro de asuntos del hogar” para rechazar el argumento inicial. El hablante asume que porque la persona ocupó un cargo de poder, su opinión tiene más peso. Esta falacia ignora la posibilidad de que el ministro esté equivocado o que su expertise no se aplique a esta situación específica.

  • Pooh-Pooh: La frase “nunca es tan simple” descarta el argumento inicial sin proporcionar ningún contraargumento real o evidencia. Es una afirmación despectiva que busca cerrar la conversación en lugar de abordar las ideas presentadas.

Hágame saber si quiere explorar otros ejemplos de falacias lógicas!

La frase “Mira, a primera vista, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple, como un ex ministro de asuntos del hogar debería saber” contiene algunas falacias lógicas:

  • Apelación a la autoridad: La frase sugiere implícitamente que, al mencionar un “ex ministro de asuntos del hogar”, su opinión tiene más peso. Esto asume que ser un ex ministro automáticamente le da expertise sobre este asunto particular.

  • Pooh-Pooh: La frase “nunca es tan simple” podría considerarse una forma de pooh-pooh del argumento inicial. Descarta el razonamiento directo sin proporcionar argumentos sustanciales o explorar las complejidades.

Hágame saber si quiere analizar otras frases o argumentos para buscar falacias!

Gemma 2 - 27b

Modelo: gemma2:27b-instruct-q3_K_L

Respuesta:

La frase “Pero nunca es tan simple, como un ex ministro de asuntos del hogar debería saber” emplea la apelación a la autoridad falacia.

Aquí está por qué:

  • Asume expertise: La afirmación implica que, porque la persona es un ex ministro de asuntos del hogar, automáticamente tiene conocimiento especial sobre temas complejos como la escasez de viviendas.
  • El expertise no siempre es relevante: Aunque un ex ministro podría tener algunas ideas sobre políticas de vivienda, su experiencia no necesariamente lo convierte en un experto en todos los factores que contribuyen a una escasez de viviendas.

La frase intenta descartar un argumento potencialmente válido (“demasiadas personas, no hay suficientes casas”) simplemente porque proviene de alguien que se percibe como carecedor de expertise en el campo.

Hágame saber si tiene otras frases que le gustaría analizar!

La frase contiene algunos elementos que se asemejan a falacias lógicas, aunque no es un caso claro:

  • Apelación a la autoridad (Débil): “como un ex ministro de asuntos del hogar debería saber.” Esto intenta dar peso al argumento invocando la autoridad previa del hablante sobre el tema. Sin embargo, es débil porque no proporciona ninguna expertise específica o razonamiento del ministro para respaldar su postura.

  • Ad Hominem (Potencial): Dependiendo del contexto y el tono, la frase podría verse como un ataque ad hominem si se pretende desacreditar el argumento contrario simplemente basándose en quién lo está haciendo en lugar de abordar el contenido real del argumento. Por ejemplo, si la frase implica que la persona no es capaz de entender las políticas de vivienda porque fue un ministro, eso sería un ataque ad hominem.

Nota importante: Sin más contexto sobre lo que la persona realmente argumentó y el tono general, es difícil clasificar con certeza estos como ejemplos fuertes de falacias.

Hágame saber si tiene otras frases que le gustaría que analice!

Qwen 2 - 7b

Logo de Qwen 2

Modelo: qwen2:7b-instruct-q8_0

Respuesta:

La frase que proporcionaste contiene varias falacias lógicas:

  1. Apelación a las emociones (Argumentum ad Passiones): La afirmación “Mira, a primera vista, todo suena perfectamente razonable” intenta evocar un sentido de razonabilidad y simplicidad en la mente del oyente sin proporcionar evidencia sustancial o argumentación.
  2. Falacia de la distracción (Red Herring): Al mencionar que “un ex ministro de asuntos del hogar debería saber”, el hablante introduce un punto irrelevante (el conocimiento de una persona específica) para desviar la atención del asunto principal, potencialmente engañando al público para que piense que el conocimiento de la persona es relevante cuando podría no serlo.
  3. Falacia de apelación a la autoridad: Aunque no se menciona explícitamente en esta frase, si alguien afirmara que “un ex ministro de asuntos del hogar” sabe algo porque fue un ministro, estaría cometiendo una falacia de apelación a la autoridad, asumiendo que su posición le da expertise sobre el asunto sin proporcionar evidencia de su conocimiento específico o argumento.

Estas falacias lógicas pueden debilitar la fuerza de un argumento al apelar a las emociones en lugar de la lógica y la relevancia.

La frase que proporcionaste:

“Mira, a primera vista, todo suena perfectamente razonable: demasiadas personas, no hay suficientes casas. Pero nunca es tan simple, como un ex ministro de asuntos del hogar debería saber.”

no contiene ninguna de las falacias de apelación a las emociones (Apelum ad passiones) mencionadas en su lista. Sin embargo, algunas potenciales falacias lógicas podrían ser:

  • Ad Hominem si esta cita se usa como un ataque contra un individuo específico (’ex ministro de asuntos del hogar’) en lugar de abordar su argumento.
  • Falacia de la distracción (Red Herring): Podría haber un intento de desviar la atención del asunto original o argumentos mencionando temas irrelevantes, aunque no parece haber una distracción obvia en la oración que proporcionaste.

También hay otras falacias no mencionadas bajo ‘Apelación a las emociones’ como:

  • Dilema falso: Presentar un tema complejo en términos binarios simples donde no se puede discutir adecuadamente. La oración proporcionada no implica este tipo de falacia.
  • Apelación a la autoridad: Usar la opinión o identidad de alguien famoso en lugar de evidencia válida para respaldar un argumento. No aplica en su cita ya que no se invoca ninguna autoridad.

Por favor, aclarar si había otra frase específica que quisiera analizar bajo apelación a las emociones, y estaríamos encantados de ayudar con eso.

Qwen 2 - 72b

Sé que eso es sobrepeso no es de nuestra categoría, pero solo por curiosidad…

Modelo: qwen2:72b-instruct-q2_K

Respuesta:

La frase proporcionada no contiene directamente una apelación a las emociones como se define en la lista de falacias lógicas. Sin embargo, implica una potencial falacia lógica conocida como “Apelación a la autoridad” o “Argumento desde la autoridad.” Esto es porque el hablante sugiere que el ex ministro de asuntos del hogar debería saber mejor, implicando que su autoridad sobre el tema hace que su opinión sea más válida.

La frase no usa directamente una apelación emocional, pero usa la autoridad del ex ministro de asuntos del hogar supuesta conocimiento como forma de debilitar la simplicidad del argumento presentado. Esto se puede ver en la estructura de la oración: “Pero nunca es tan simple, como un ex ministro de asuntos del hogar debería saber.”

En resumen:

  • Falacia lógica presente: Apelación a la autoridad
  • Definición: Una apelación a la autoridad ocurre cuando una afirmación se considera verdadera basada en la credibilidad o expertise de la persona que la hace, en lugar de la fuerza de la evidencia.
  • Ejemplo en la frase: “como un ex ministro de asuntos del hogar debería saber” implica que la opinión de alguien con tal experiencia tiene más peso y podría usarse para desestimar explicaciones simples.

La frase que has proporcionado no evoca necesariamente una respuesta emocional específica; más bien, apela al conocimiento y la experiencia del oyente sugiriendo que las explicaciones simples a menudo no cuentan la historia completa. Sin embargo, si analizamos para posibles apelaciones emocionales:

Apelación a la autoridad: Indirectamente menciona “un ex ministro de asuntos del hogar” que debería saber mejor, lo que podría verse como un intento indirecto de otorgar autoridad y credibilidad a la complejidad del asunto, lo que puede apelar sutilemente a nuestro deseo de guía experta.

La frase no usa directamente apelaciones emocionales como el miedo, la culpa, el ridículo, la ira, el resentimiento, el asco, la flattery, la compasión, el patriotismo o el pooh-pooh, pero indirectamente menciona la autoridad (apelando a nuestro respeto y deferencia) para subrayar la complejidad de los asuntos que no se resuelven simplemente culpando “demasiadas personas” por la falta de casas. Esto también puede relacionarse con:

Apelación a la razón: Nos invita a mirar más allá de las soluciones simples y considerar que los problemas pueden tener causas más profundas o complejas de lo que parecen a primera vista.

En general, aunque no haya una fuerte apelación emocional evidente en la frase, intenta aprovechar la autoridad y la razón - aspectos a menudo respetados dentro de la toma de decisiones racionales. Esto destaca un posible juego estratégico en las emociones de confianza hacia figuras autoritarias para instalar dudas en vistas simples y fomentar consideraciones más reflexivas por parte de los oyentes que valoran la complejidad en los asuntos sociales. Una versión más sutil podría potencialmente invocar elementos relacionados con:

  • Miedo: Subtamente levantar preocupaciones sobre la simplificación, así invocando ansiedad ante las complejidades no abordadas.
  • Asco: Desagrado implícito hacia narrativas simplificadas podría ser activado si se enmarcara dentro de contextos criticando discusiones políticas superficiales o ignorantes.

Sin embargo, estos son indirectos y pueden depender en gran medida de matices contextuales en discusiones circundantes. Sin contenido emocional adicional o apelaciones específicas que sean características de definiciones de falacias (por ejemplo, manipulación del miedo, invocación explícita de culpa), esta frase está principalmente centrada en invocar la razón a través de la autoridad en lugar de manipular sentimientos. Esta posición resalta la credibilidad, a menudo apreciada cuando se analizan falacias lógicas que pueden manipular emociones sin argumentos sólidos.

Para resumir:

  • La afirmación alude a la autoridad (“un ex ministro de asuntos del hogar”), potencialmente provocando respeto o confianza (ya que insinúa conocimiento interno).
  • Podría inducir una ansiedad sutil hacia la simplificación como amenaza (aunque no se usen tácticas explícitas de miedo aquí).
  • Un contexto más detallado podría ser necesario para clasificaciones específicas de apelación emocional, ya que las apelaciones inherentes suelen derivarse de cómo los oyentes se relacionan emocionalmente con temas más allá de la afirmación en sí misma.

Recuerde, las falacias típicamente involucran errores lógicos, pero a menudo resonan en profundidades, influenciadas por sesgos personales o ansiedades sociales – por lo tanto, esta frase merece desempaquetar cuidadosamente lo que los oyentes podrían conectar subconscientemente dentro de diálogos más amplios.

Para explorar más benchmarks, límites de VRAM y selección de modelos para GPUs de 16 GB, y ajuste de rendimiento, consulte nuestro Rendimiento de LLM: Benchmarks, Cuellos de botella y Optimización hub.

Enlaces útiles