Quais LLMs têm o melhor desempenho para resumos?

Em benchmarks com 40 textos de amostra, Phi3 14b, Llama3.1 8b, Mistral Small 22b, Mistral Nemo 12b e Llama3.2 3b obtiveram resultados no topo da faixa (cerca de 79–82% corretos). Tanto o tamanho do modelo quanto a quantização afetam os resultados.

A Mistral Small é boa para resumos?

Sim. O Mistral Small 22b instruct (q4_0) alcançou cerca de 81% de acertos em testes de resumo e é frequentemente reconhecido por possuir qualidade linguística acima da média em comparação com modelos similares.

Pequenos LLMs são úteis para resumos?

Sim. O Llama3.2 3b instruct (q8_0) alcançou cerca de 79% nos mesmos testes e foi o mais rápido, tornando os modelos pequenos uma boa opção quando a velocidade ou o uso de recursos são importantes.

Como é medida a performance de resumo de LLM?

Uma abordagem comum é executar o modelo em muitos textos de amostra com um prompt de resumo, depois pontuar as respostas corretas (por exemplo, com reclassificação de embeddings) e relatar a proporção de respostas corretas ou a pontuação média.

Onde posso encontrar mais informações sobre o desempenho e benchmarks de LLM?

Nosso hub de desempenho do LLM aborda throughput versus latência, limites de VRAM, solicitações paralelas e benchmarks em diferentes runtimes e hardware.

Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 e Phi - Teste de LLM

Próxima rodada de testes de LLM

Conteúdo da página

Há pouco tempo foi lançado. Vamos nos atualizar e
testar como o Mistral Small se compara a outros LLMs.

Para mais informações sobre throughput, latência, VRAM e benchmarks em diferentes runtimes e hardware, veja LLM Performance: Benchmarks, Bottlenecks & Optimization.

Antes disso, já fizemos:

Testando a detecção de falácias lógicas por novos LLMs: gemma2, qwen2 e mistralNemo

Carro está acelerando

Como testamos

Aqui testamos as capacidades de resumo dos LLMS:

temos 40 textos de amostra, e estamos executando o LLM com o prompt de Pergunta e Resumo (similar ao método usado em perplexica)
resumos reordenados com embedding models
o número de respostas corretas dividido pelo número total de perguntas nos dá o desempenho do modelo

Resultado do Teste

Top 5 lugares com a porcentagem média de respostas corretas:

82%: phi3 - 14b-medium-128k-instruct-q4_0
81%: llama3.1 - 8b-instruct-q8_0
81%: mistral-small - 22b-instruct-2409-q4_0
79%: mistral-nemo - 12b-instruct-2407-q6_K
79%: llama3.2 - 3b-instruct-q8_0

Todos esses modelos mostraram bom desempenho.

Gostaria de direcionar um pouco de atenção para o grupo de modelos Mistral. A qualidade do idioma é um pouco melhor do que a média.

Outro ponto – o pequeno modelo de 3,2b, llama3.2:3b-instruct-q8_0, mostrou um excelente resultado para o seu tamanho, e é o mais rápido de todos.

Resultado detalhado do teste

Nome do modelo, parâmetros, quantização	Tamanho	Teste 1	Teste 2	Média
llama3.2:3b-instruct-q8_0	4GB	80	79	79
llama3.1:8b-instruct-q8_0	9GB	76	86	81
gemma2:27b-instruct-q3_K_S	12GB	76	72	74
mistral-nemo:12b-instruct-2407-q6_K	10GB	76	82	79
mistral-small:22b-instruct-2409-q4_0	12GB	85	75	80
phi3:14b-medium-128k-instruct-q4_0	9GB	76	89	82
qwen2.5:14b-instruct-q5_0	10GB	66	75	70
qwen2.5:32b-instruct-q3_K_S	14GB	80	75	77
qwen2.5:32b-instruct-q4_0	18GB	76	79	77
llama3.1:70b-instruct-q3_K_M	34GB	76	75	75
qwen2.5:72b-instruct-q4_1	45GB	76	75	75

Para mais benchmarks, escolha de modelos e ajuste de desempenho, consulte nosso LLM Performance: Benchmarks, Bottlenecks & Optimization hub.

Como testamos

Resultado do Teste

Resultado detalhado do teste

Links Úteis