Ollama

In diesem Test vergleiche ich, wie verschiedene LLMs, die auf Ollama gehostet werden, Hugo-Seiten von Englisch ins Deutsche übersetzen: Vergleich, wie verschiedene LLMs, die auf Ollama gehostet werden, Hugo-Seiten übersetzen. Drei Seiten, die ich getestet habe, befassen sich mit unterschiedlichen Themen und enthalten einige schöne Markdown-Elemente mit Struktur: Überschriften, Listen, Tabellen, Links usw.

Dieses kleine Reranking Go-Codebeispiel ruft Ollama auf, um Embeddings zu generieren für die Abfrage und für jede Kandidatendokumente, dann Sortierung absteigend nach Kosinusähnlichkeit.

Die Qwen3 Embedding und Reranker Modelle sind die neuesten Veröffentlichungen in der Qwen-Familie und wurden speziell für fortgeschrittene Text-Embedding-, Retrieval- und Reranking-Aufgaben entwickelt.

Wie PCIe-Lanes die LLM-Performance beeinflussen? Je nach Aufgabe. Bei Training und Multi-GPU- Inferenz ist der Leistungsverlust erheblich.

Im Ollama-Modell-Repository gibt es Modelle, die in der Lage sind, HTML-Inhalt in Markdown umzuwandeln – was für Aufgaben der Inhaltskonvertierung nützlich ist.

Hier finden Sie eine Übersicht über einige AI-betriebene Coding-Tools und ihre Vorzüge:

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung und effizienten Kerne von Intel-Prozessoren nutzt

Es stört mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

DeepSeeks erste Generation von Reasoning-Modellen mit vergleichbarer Leistung zu OpenAI-o1, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

Hier ist die Liste und Beispiele der nützlichsten Ollama-Befehle (Ollama-Befehlsübersicht),
die ich vor einiger Zeit zusammengestellt habe.
Ich hoffe, sie wird Ihnen nützlich sein.

Vor nicht allzu langer Zeit wurde veröffentlicht. Lassen Sie uns aufschließen und
testen, wie Mistral Small sich im Vergleich zu anderen LLMs schlägt.

Reranking ist der zweite Schritt im Retrieval Augmented Generation (RAG) systemen, direkt zwischen Retrieving und Generating.

Hervorragende Nahrung ist auch ein Genuss für die Augen. Aber in diesem Beitrag vergleichen wir zwei AI-basierte Suchsysteme, Farfalle und Perplexica.

Das ist sehr aufregend! Statt Copilot oder perplexity.ai zu rufen und der ganzen Welt zu erzählen, wonach Sie suchen, können Sie nun einen ähnlichen Dienst auf Ihrem eigenen PC oder Laptop hosten!

Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.