LLM Hosting

Selbsthosting von LLMs ermöglicht die Kontrolle über Daten, Modelle und Inferenz – ein praktischer Weg zur AI-Souveränität für Teams, Unternehmen und Nationen.

Open WebUI ist eine leistungsstarke, erweiterbare und umfangreiche selbstgehostete Web-Schnittstelle zur Interaktion mit großen Sprachmodellen.

vLLM ist ein leistungsstarkes, speicher-effizientes Inferenz- und Servicemodul für Large Language Models (LLMs), das vom Sky Computing Lab der UC Berkeley entwickelt wurde.

Die Wahl des Besten LLM für Cognee erfordert das Ausbalancieren von Graph-Qualität, Halluzinationsraten und Hardware-Beschränkungen.
Cognee leistet sich besonders gut mit größeren, niedrig-halluzinierenden Modellen (32B+) über Ollama, doch mittelgroße Optionen sind für leichtere Systeme geeignet.

lokale Bereitstellung von LLMs hat sich zunehmend beliebt gemacht, da Entwickler und Organisationen verbesserter Datenschutz, reduzierte Latenz und größere Kontrolle über ihre KI-Infrastruktur anstreben.

Einrichten von Kontextgrößen im Docker Model Runner ist komplexer, als es sein sollte.

Docker Model Runner ist das offizielle Tool von Docker, um KI-Modelle lokal zu verwenden, aber GPU-Beschleunigung mit NVidia in Docker Model Runner erfordert eine spezifische Konfiguration.

Docker Model Runner (DMR) ist Docks offizielle Lösung zur lokalen Ausführung von KI-Modellen, eingeführt im April 2025. Dieses Cheat Sheet bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

Große Sprachmodelle (LLMs) lokal ausführen wird aufgrund von Privatsphäre, Kostenkontrolle und Offline-Funktionen immer beliebter. Die Landschaft hat sich im April 2025 deutlich verändert, als Docker Docker Model Runner (DMR), seine offizielle Lösung zur AI-Modellbereitstellung, eingeführt hat.

Dieser Leitfaden bietet einen umfassenden Überblick über die verfügbaren Go SDKs für Ollama und vergleicht ihre Funktionsumfänge.

In diesem Beitrag untersuchen wir zwei Möglichkeiten, Ihre Python-Anwendung mit Ollama zu verbinden: 1. Über die HTTP REST API; 2. Über die offizielle Ollama Python-Bibliothek.

Ollama hat sich schnell zu einem der beliebtesten Tools zur lokalen Ausführung von LLMs entwickelt. Seine einfache CLI und die nahtlose Modellverwaltung haben es zu einer bevorzugten Option für Entwickler gemacht, die mit AI-Modellen außerhalb der Cloud arbeiten möchten.

Locally gehostete Ollama ermöglicht es, große Sprachmodelle auf Ihrem eigenen Gerät auszuführen, aber die Verwendung über die Befehlszeile ist nicht benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Schnittstellen bereitstellen, die mit einer lokalen Ollama verbunden sind.

In diesem Test vergleiche ich, wie verschiedene LLMs, die auf Ollama gehostet werden, Hugo- Seiten von englisch auf deutsch übersetzen.

Die Verwendung von LLMs ist nicht sehr teuer, es könnte kein Bedarf bestehen, neue, unglaublich leistungsstarke GPUs zu kaufen.
Hier ist eine Liste der LLM-Anbieter in der Cloud mit den LLMs, die sie hosten.

DeepSeek’s erste Generation von Reasoning-Modellen mit Leistungen, die vergleichbar sind mit OpenAI-o1, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.