Testen van Deepseek-R1 op Ollama

Het vergelijken van twee deepseek-r1-modellen met twee basismodellen

DeepSeek’s eerste generatie redeneingsmodellen met vergelijkbare prestaties als OpenAI-o1, waaronder zes dichte modellen gedistilleerd van DeepSeek-R1 op basis van Llama en Qwen.

Ollama modelbibliotheek heeft onlangs een aantal modellen van DeepSeek toegevoegd op basis van Llama 3.1 en 3.3 en Qwen 2.

Llama op de Londense straat staat naast het bord ‘Deepseek-r1’ Hierboven is een AI-generatie beeld (door Flux 1 dev model) van de Llama naast het bord ‘deepseek-r1’ op de straat in Londen.

In dit artikel vergelijk ik twee DeepSeek-r1 modellen met hun basismodellen Llama 3.1 en Qwen2

TL;DR - Samenvatting van de testresultaten

  • Het beste resultaat: llama3.1:8b-instruct-q4_K_M
  • Beide DeepSeek-r1 modellen deepseek-r1:7b-qwen-distill-q4_K_M en deepseek-r1:8b-llama-distill-q4_K_M - deden het niet goed.
Model Test 1 Test 2 Test 3 Test 4 Totaal
deepseek-r1:7b-qwen-distill-q4_K_M 3 3 2 2 10
deepseek-r1:8b-llama-distill-q4_K_M 3 2 4 1 10
llama3.1:8b-instruct-q4_K_M 4 4 2 4 14
qwen2.5:7b-instruct-q4_K_M 3 3 3 3 12

Opmerkingen

  • In Test 1 - deden alle modellen goed, maar llama3.1:8b-instruct-q4_K_M kreeg een extra punt voor het bieden van Overeenkomsten en Verschillen secties.
  • In Test 2 - produceerde deepseek-r1:8b-llama-distill-q4_K_M een te korte reactie, llama3.1:8b-instruct-q4_K_M - extra punt voor Vergelijkingsoverzicht
  • In Test 3 - vond ik de linksgezinde houding van llama3.1:8b-instruct-q4_K_M niet leuk, deepseek-r1:8b-llama-distill-q4_K_M produceerde een evenwichtige en goed opgezette resultaat.
  • In Test 4 - deepseek-r1:7b-qwen-distill-q4_K_M: DEI~30%; deepseek-r1:8b-llama-distill-q4_K_M - verloor alles in geslachtsidentiteit, DEI en slachtoffers. llama3.1:8b-instruct-q4_K_M - goed opgezette en op het punt reactie.

Ollama installeren

Installeer de Ollama-server vanaf https://ollama.com .

Voor gedetailleerde instructies zie Installeer Ollama en configureer de locatie van modellen

DeepSeek-r1 modellen, Llama 3.1 en Qwen 2 modellen ophalen

Ik test hier DeepSeek modellen 7b-qwen-distill-q4_K_M, 8b-llama-distill-q4_K_M, Llama model: llama3.1:8b-instruct-q4_K_M en Qwen 2.5 model: qwen2.5:7b-instruct-q4_K_M

Downloaden van DeepSeek-r1, Llama3.1 en Qwen2.5 modellen

ollama pull deepseek-r1:7b-qwen-distill-q4_K_M
ollama pull deepseek-r1:8b-llama-distill-q4_K_M
ollama pull llama3.1:8b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q4_K_M

DeepSeek-r1 modellen uitvoeren

Uitvoeren van DeepSeek-r1 en andere LLM modellen

ollama run deepseek-r1:7b-qwen-distill-q4_K_M
ollama run deepseek-r1:8b-llama-distill-q4_K_M
ollama run llama3.1:8b-instruct-q4_K_M
ollama run qwen2.5:7b-instruct-q4_K_M

Please see sample prompts and responses in the English version of this post. You can select the language on the right.

Conclusie

Ik had echt meer van de Depseek-r1-modellen verwacht. Ik had verwacht dat ze beter presteren dan de basismodellen. Maar misschien zijn deze modellen te klein of waarschijnlijk doet r2 het beter. Laten we wachten en zien.