Test de Deepseek-R1 sur Ollama

Comparaison de deux modèles deepseek-r1 avec deux modèles de base

DeepSeek’s première génération de modèles de raisonnement avec des performances comparables à celles d’OpenAI-o1,
y compris six modèles denses distillés à partir de DeepSeek-R1 basés sur Llama et Qwen.

Ollama model library
a récemment ajouté un ensemble de modèles DeepSeek basés sur Llama 3.1 et 3.3 ainsi que sur Qwen 2.

Llama sur la rue de Londres est debout à côté du panneau Deepseek-r1
Au-dessus est une image générée par IA (par le modèle Flux 1 dev) de la Llama à côté du panneau deepseek-r1 sur la rue de Londres.

Dans cet article, je compare deux modèles DeepSeek-r1 avec leurs modèles de base Llama 3.1 et Qwen2.

TL;DR - Résumé des résultats du test

  • Le meilleur résultat : llama3.1:8b-instruct-q4_K_M
  • Les deux modèles DeepSeek-r1 deepseek-r1:7b-qwen-distill-q4_K_M et deepseek-r1:8b-llama-distill-q4_K_M - n’ont pas bien performé.
Modèle Test 1 Test 2 Test 3 Test 4 Total
deepseek-r1:7b-qwen-distill-q4_K_M 3 3 2 2 10
deepseek-r1:8b-llama-distill-q4_K_M 3 2 4 1 10
llama3.1:8b-instruct-q4_K_M 4 4 2 4 14
qwen2.5:7b-instruct-q4_K_M 3 3 3 3 12

Commentaires

  • Dans Test 1 - tous les modèles ont bien performé, mais llama3.1:8b-instruct-q4_K_M obtient un point supplémentaire pour avoir fourni des sections Similarities et Differences.
  • Dans Test 2 - deepseek-r1:8b-llama-distill-q4_K_M a produit une réponse trop courte, llama3.1:8b-instruct-q4_K_M - point supplémentaire pour Comparison Summary.
  • Dans Test 3 - j’ai détesté la tendance à gauche dans llama3.1:8b-instruct-q4_K_M, deepseek-r1:8b-llama-distill-q4_K_M a produit un résultat équilibré et bien structuré.
  • Dans Test 4 - deepseek-r1:7b-qwen-distill-q4_K_M : DEI~30 %; deepseek-r1:8b-llama-distill-q4_K_M - a perdu tout en matière d’identité de genre, DEI et de victimisation. llama3.1:8b-instruct-q4_K_M - réponse bien structurée et précise.

Installer Ollama

Installez le serveur Ollama depuis https://ollama.com .

Pour les instructions détaillées, veuillez consulter
Installer Ollama et configurer l’emplacement des modèles

Tirer les modèles DeepSeek-r1, Llama 3.1 et Qwen 2

Je teste ici les modèles DeepSeek 7b-qwen-distill-q4_K_M, 8b-llama-distill-q4_K_M,
modèle Llama : llama3.1:8b-instruct-q4_K_M et modèle Qwen 2.5 : qwen2.5:7b-instruct-q4_K_M

Téléchargement des modèles DeepSeek-r1, Llama3.1 et Qwen2.5

ollama pull deepseek-r1:7b-qwen-distill-q4_K_M
ollama pull deepseek-r1:8b-llama-distill-q4_K_M
ollama pull llama3.1:8b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q4_K_M

Exécuter les modèles DeepSeek-r1

Exécution des modèles DeepSeek-r1 et autres modèles LLM

ollama run deepseek-r1:7b-qwen-distill-q4_K_M
ollama run deepseek-r1:8b-llama-distill-q4_K_M
ollama run llama3.1:8b-instruct-q4_K_M
ollama run qwen2.5:7b-instruct-q4_K_M

Please see sample prompts and responses in the English version of this post. You can select the language on the right.

Conclusion

J’ai vraiment espéré mieux des modèles Depseek-r1. J’attendais qu’ils performent mieux que les modèles de base. Mais peut-être que ces modèles sont trop petits ou probablement le r2 - fera mieux. Attendez et voyons.

Liens utiles