Testen von Deepseek-R1 mit Ollama

Vergleich zweier deepseek-r1-Modelle mit zwei Basismodellen

DeepSeek’s erste Generation von Schlussfolgerungsmodellen mit Leistung, die vergleichbar mit OpenAI-o1 ist, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

Ollama Model Library hat kürzlich eine Reihe von DeepSeek-Modellen hinzugefügt, die auf Llama 3.1 und 3.3 sowie Qwen 2 basieren.

Llama auf der Londoner Straße steht neben dem Schild Deepseek-r1 Oben ist ein künstlich generiertes Bild (von Flux 1 dev Modell) des Llamas neben dem Schild ‘deepseek-r1’ auf der Straße in London.

In diesem Beitrag vergleiche ich zwei DeepSeek-r1-Modelle mit ihren Basismodellen Llama 3.1 und Qwen2

TL;DR - Zusammenfassung der Testergebnisse

  • Das beste Ergebnis: llama3.1:8b-instruct-q4_K_M
  • Beide DeepSeek-r1-Modelle deepseek-r1:7b-qwen-distill-q4_K_M und deepseek-r1:8b-llama-distill-q4_K_M - haben nicht gut abgeschnitten.
Modell Test 1 Test 2 Test 3 Test 4 Gesamt
deepseek-r1:7b-qwen-distill-q4_K_M 3 3 2 2 10
deepseek-r1:8b-llama-distill-q4_K_M 3 2 4 1 10
llama3.1:8b-instruct-q4_K_M 4 4 2 4 14
qwen2.5:7b-instruct-q4_K_M 3 3 3 3 12

Kommentare

  • In Test 1 - alle Modelle haben gut abgeschnitten, aber llama3.1:8b-instruct-q4_K_M erhält einen zusätzlichen Punkt für die Bereitstellung der Abschnitte Ähnlichkeiten und Unterschiede.
  • In Test 2 - deepseek-r1:8b-llama-distill-q4_K_M hat eine zu kurze Antwort produziert, llama3.1:8b-instruct-q4_K_M - zusätzlicher Punkt für Zusammenfassung der Vergleich.
  • In Test 3 - der linke Schwerpunkt in llama3.1:8b-instruct-q4_K_M ist unerfreulich, deepseek-r1:8b-llama-distill-q4_K_M hat ein ausgewogenes und gut strukturiertes Ergebnis produziert.
  • In Test 4 - deepseek-r1:7b-qwen-distill-q4_K_M: DEI~30%; deepseek-r1:8b-llama-distill-q4_K_M - verlor alles in Bezug auf Geschlechtsidentität, DEI und Opferstatus. llama3.1:8b-instruct-q4_K_M - gut strukturierte und präzise Antwort.

Ollama installieren

Installieren Sie den Ollama-Server von https://ollama.com .

Für detaillierte Anweisungen siehe bitte Ollama installieren und Modelleinstellungen konfigurieren

DeepSeek-r1-Modelle, Llama 3.1 und Qwen 2-Modelle herunterladen

Ich teste hier DeepSeek-Modelle 7b-qwen-distill-q4_K_M, 8b-llama-distill-q4_K_M, Llama-Modell: llama3.1:8b-instruct-q4_K_M und Qwen 2.5-Modell: qwen2.5:7b-instruct-q4_K_M

Herunterladen von DeepSeek-r1, Llama3.1 und Qwen2.5-Modellen

ollama pull deepseek-r1:7b-qwen-distill-q4_K_M
ollama pull deepseek-r1:8b-llama-distill-q4_K_M
ollama pull llama3.1:8b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q4_K_M

DeepSeek-r1-Modelle ausführen

Ausführen von DeepSeek-r1 und anderen LLM-Modellen

ollama run deepseek-r1:7b-qwen-distill-q4_K_M
ollama run deepseek-r1:8b-llama-distill-q4_K_M
ollama run llama3.1:8b-instruct-q4_K_M
ollama run qwen2.5:7b-instruct-q4_K_M

Please see sample prompts and responses in the English version of this post. You can select the language on the right.

Schlussfolgerung

Ich hatte wirklich mehr von den Depseek-r1-Modellen erwartet.
Ich hatte erwartet, dass sie besser als die Basismodelle abschneiden würden.
Aber vielleicht sind diese Modelle einfach zu klein oder es handelt sich um das r2-Modell – das könnte besser abschneiden.
Wir werden sehen und abwarten.