MTP im Vergleich zur Standard-Decodierung auf der RTX 4080 – echte Benchmarks
Ich habe die Leistung von spekulativem Decoding (Multi-Token Prediction, MTP) bei Qwen 3.6 27B und 35B auf einer RTX 4080 mit 16 GB VRAM getestet.
Token-Geschwindigkeit von llama.cpp mit 16 GB VRAM (Tabellen).
Hier vergleiche ich die Geschwindigkeit verschiedener LLMs, die auf einer GPU mit 16 GB VRAM laufen, und wähle das beste Modell für die Selbsthosting-Nutzung aus.
Die RTX 5090 ist in Australien knapp und überhöht im Preis.
Australien verfügt über RTX 5090-Lagerbestände. Kaum. Und wenn Sie eine finden, zahlen Sie einen Aufpreis, der sich von der Realität zu lösen scheint.
Compose-first Ollama-Server mit GPU und Persistenz.
Ollama funktioniert hervorragend auf Bare Metal. Es wird noch interessanter, wenn man es wie einen Service behandelt: ein stabiler Endpunkt, fixierte Versionen, persistente Speicherung und eine GPU, die entweder verfügbar ist oder eben nicht.
LLM-Geschwindigkeitstest auf RTX 4080 mit 16 GB VRAM
Das lokale Ausführen großer Sprachmodelle bietet Datenschutz, Offline-Funktionalität und null API-Kosten. Dieser Benchmark zeigt genau auf, was man von 14 beliebten LLMs auf Ollama mit einer RTX 4080 erwarten kann.
Wählen Sie das richtige Terminal für Ihren Linux-Workflow
Eines der wichtigsten Werkzeuge für Linux-Benutzer ist der Terminal-Emulator.
Echte AUD-Preise von australischen Händlern jetzt verfügbar
Die NVIDIA DGX Spark (GB10 Grace Blackwell) ist in Australien bei großen PC-Händlern mit lokaler Lagerbestellung erhältlich. Wenn Sie die globalen Preise und die Verfügbarkeit des DGX Spark verfolgt haben, werden Sie wissen wollen, dass die Preise in Australien je nach Speicherkonfiguration und Händler zwischen 6.249 und 7.999 AUD liegen.
Preise für für KI geeignete Consumer-GPUs – RTX 5080 und RTX 5090
Vergleichen wir die Preise für High-End-Verbrauchergrafikkarten, die insbesondere für LLMs und allgemein für KI geeignet sind. Konkret betrachte ich die Preise der RTX-5080 und RTX-5090.
Vereinheitlichen Sie Text, Bilder und Audio in gemeinsamen Einbettungsräumen
Cross-modale Einbettungen stellen einen Durchbruch in der künstlichen Intelligenz dar und ermöglichen das Verständnis und die Schlussfolgerung über verschiedene Datentypen hinweg in einem einheitlichen Darstellungsraum.
Bereitstellung von Enterprise-KI auf kostengünstiger Hardware mit Open-Modellen
Die Demokratisierung der KI ist da. Mit Open-Source-LLMs wie Llama, Mistral und Qwen, die nun proprietäre Modelle herausfordern, können Teams eine leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen – und dabei die Kosten drastisch senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.
Beschleunigen Sie FLUX.1-dev mit GGUF-Quantisierung
FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.
„Kontextgrößen im Docker Model Runner konfigurieren mit Umgehungsmöglichkeiten“
Einrichten von Kontextgrößen im Docker Model Runner ist komplexer, als es sein sollte.
KI-Modell zur Erweiterung von Bildern mit Textanweisungen
Black Forest Labs hat FLUX.1-Kontext-dev veröffentlicht, ein fortschrittliches Bild-zu-Bild-KI-Modell, das bestehende Bilder mithilfe von Textanweisungen erweitert.
GPU-Beschleunigung für Docker Model Runner mit NVIDIA CUDA-Unterstützung aktivieren
Docker Model Runner ist das offizielle Tool von Docker, um KI-Modelle lokal zu verwenden, aber GPU-Beschleunigung mit NVidia in Docker Model Runner erfordert eine spezifische Konfiguration.
GPT-OSS 120b Benchmarks auf drei AI-Plattformen
Ich habe einige interessante Leistungsbenchmarks von GPT-OSS 120b gefunden, die auf Ollama unter drei verschiedenen Plattformen durchgeführt wurden: NVIDIA DGX Spark, Mac Studio und RTX 4080. Der GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass er nicht in die 16 GB VRAM des RTX 4080 (oder der neueren RTX 5080) passt.
Schnellreferenz für Docker Model Runner-Befehle
Docker Model Runner (DMR) ist Docks offizielle Lösung zur lokalen Ausführung von KI-Modellen, eingeführt im April 2025. Dieses Cheat Sheet bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.
