Self-Hosting

Das lokale Ausführen von LLMs (Large Language Models) ist für Entwickler, Startups und sogar Enterprise-Teams jetzt praktikabel.
Die Wahl des richtigen Tools — Ollama, vLLM, LM Studio, LocalAI oder andere — hängt jedoch von Ihren Zielen ab:

Vergleichen wir die Preise für High-End-Verbrauchergrafikkarten, die insbesondere für LLMs und allgemein für KI geeignet sind. Konkret betrachte ich die Preise der RTX-5080 und RTX-5090.

Die Demokratisierung der KI ist da. Mit Open-Source-LLMs wie Llama, Mistral und Qwen, die nun proprietäre Modelle herausfordern, können Teams eine leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen – und dabei die Kosten drastisch senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

Prometheus ist zum de facto Standard für die Überwachung cloud-nativer Anwendungen und Infrastruktur geworden und bietet Metriken-Sammlung, Abfragen und Integration mit Visualisierungstools.

Grafana ist die führende Open-Source-Plattform für Überwachung und Observability, die Metriken, Protokolle und Spuren in handlungsorientierte Erkenntnisse durch beeindruckende Visualisierungen umwandelt.

Kubernetes StatefulSets sind die optimale Lösung für die Verwaltung von zustandsbehafteten Anwendungen, die stabile Identitäten, dauerhafte Speicherung und geordnete Bereitstellungsmuster benötigen – essenziell für Datenbanken, verteilte Systeme und Caching-Schichten.

FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.

Einrichten von Kontextgrößen im Docker Model Runner ist komplexer, als es sein sollte.

Black Forest Labs hat FLUX.1-Kontext-dev veröffentlicht, ein fortschrittliches Bild-zu-Bild-KI-Modell, das bestehende Bilder mithilfe von Textanweisungen erweitert.

Docker Model Runner ist das offizielle Tool von Docker, um KI-Modelle lokal zu verwenden, aber GPU-Beschleunigung mit NVidia in Docker Model Runner erfordert eine spezifische Konfiguration.

Die Wahl der richtigen headless CMS kann über den Erfolg Ihrer Content-Management-Strategie entscheiden. Lassen Sie uns drei Open-Source-Lösungen vergleichen, die den Aufbau von contentgetriebenen Anwendungen beeinflussen.

Immich ist eine revolutionäre Open-Source-Lösung für die selbstgehostete Verwaltung von Fotos und Videos, die Ihnen die vollständige Kontrolle über Ihre Erinnerungen gibt. Mit Funktionen, die denen von Google Photos in nichts nachstehen – einschließlich KI-gestützter Gesichtserkennung, intelligenter Suche und automatischer Mobilgeräte-Sicherung – und dabei Ihre Daten privat und sicher auf Ihrem eigenen Server halten.

Elasticsearch ist ein leistungsstarker, verteilter Such- und Analyse-Engine, der auf Apache Lucene aufgebaut ist. Dieses umfassende CheatSheet deckt essentielle Befehle, bewährte Praktiken und Schnellreferenzen für die Arbeit mit Elasticsearch-Clustern ab.

Ich habe einige interessante Leistungsbenchmarks von GPT-OSS 120b gefunden, die auf Ollama unter drei verschiedenen Plattformen durchgeführt wurden: NVIDIA DGX Spark, Mac Studio und RTX 4080. Der GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass er nicht in die 16 GB VRAM des RTX 4080 (oder der neueren RTX 5080) passt.

Docker Model Runner (DMR) ist Docks offizielle Lösung zur lokalen Ausführung von KI-Modellen, eingeführt im April 2025. Dieses Cheat Sheet bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

Große Sprachmodelle (LLMs) lokal ausführen wird zunehmend beliebt, um den Schutz der Privatsphäre, den Kostenkontroll und die Offline-Fähigkeiten zu gewährleisten. Der Markt hat sich im April 2025 deutlich verändert, als Docker Docker Model Runner (DMR) eingeführt hat, seine offizielle Lösung zur Bereitstellung von KI-Modellen.