Self-Hosting

Die Zukunft von AI geht nicht nur um intelligentere Modelle, sondern um intelligentere Siliziumlösungen. Spezialisierte Hardware für LLM-Inferenz treibt eine Revolution ähnlich wie der Wechsel zu ASICs beim Bitcoin-Mining.

Das Web wurde ursprünglich als ein dezentralisiertes Netzwerk entworfen, in dem jeder veröffentlichen und verbinden konnte. Mit der Zeit konsolidierten Korporationen die Kontrolle und schufen geschlossene Gärten, in denen Nutzer Produkte sind und Inhalte eingesperrt werden. Die Indie-Web-Bewegung strebt danach, das ursprüngliche Versprechen des Webs wiederherzustellen: persönlicher Besitz, kreative Freiheit und echte Verbindung.

NVIDIA DGX Spark ist real, erhältlich ab dem 15. Oktober 2025 und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. US-MSRP 3.999 $; UK/DE/JP Einzelhandel ist aufgrund von Mehrwertsteuer und Vertrieb höher. AUD/KRW öffentliche Preise sind noch nicht weit verbreitet.

Das Gemini-Protokoll stellt eine Rückkehr zu den Grundlagen der Internetkommunikation dar - eine leichtgewichtige, sichere und datenschutzfreundliche Alternative zu dem zunehmend komplexen modernen Web.

Dieser Leitfaden bietet einen umfassenden Überblick über verfügbare Go SDKs für Ollama und vergleicht deren Funktionsumfänge.

Hier ist ein Vergleich zwischen Qwen3:30b und GPT-OSS:20b mit Fokus auf Befolgung von Anweisungen und Leistungsparametern, Spezifikationen und Geschwindigkeit:

Hier ist eine schnelle Information zu Write.as / WriteFreely – wie es in das Fediverse passt, wo man verwaltetes Hosting bekommt, wie der Nutzungs-Trend aussieht und wie man es selbst hostet (inklusive grober Kostenvoranschläge).

In diesem Beitrag werden wir zwei Möglichkeiten erkunden, Ihre Python-Anwendung mit Ollama zu verbinden: 1. Über die HTTP REST API; 2. Über die offizielle Ollama Python-Bibliothek.

Proxmox Virtual Environment (Proxmox VE) ist eine Open-Source-, Typ-1-Hypervisor- und Rechenzentrums-Orchestrierungsplattform, die auf Debian basiert.

Wiederholt vergleichen wir die Preise für High-End-Consumer-GPUs, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090. Diese sind leicht gesunken.

Ollamas GPT-OSS-Modelle haben wiederkehrende Probleme bei der Handhabung strukturierter Ausgaben, insbesondere bei der Verwendung mit Frameworks wie LangChain, OpenAI SDK, vllm und anderen.

Große Sprachmodelle (LLMs) sind leistungsfähig, aber in der Produktion wollen wir selten frei formulierte Absätze. Stattdessen wollen wir vorhersehbare Daten: Attribute, Fakten oder strukturierte Objekte, die Sie in eine Anwendung einspeisen können. Das ist LLM-Strukturierte Ausgabe.

Für KDE Plasma-Fans tauchen bei Diskussionen häufig zwei Linux-Distributionen auf: Kubuntu und KDE Neon. Sie mögen ähnlich erscheinen – beide liefern KDE Plasma als Standard-Desktop, basieren auf Ubuntu und sind benutzerfreundlich.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell zuweist (https://www.glukhov.org/de/post/2025/09/memory-allocation-in-ollama-new-version/ “Ollama VRAM-Zuweisung”) im Vergleich zur vorherigen Version. Die neue Version ist schlechter.

Dieser Leitfaden führt Sie durch den Prozess der Änderung der statischen IP-Adresse auf einem Ubuntu-Server.

Ollama hat sich schnell zu einem der beliebtesten Tools zum lokalen Ausführen von LLMs entwickelt. Seine einfache CLI und der optimierte Modellmanagement haben es zu einer ersten Wahl für Entwickler gemacht, die mit KI-Modellen außerhalb der Cloud arbeiten möchten. Doch wie bei vielen vielversprechenden Plattformen gibt es bereits Anzeichen für Enshittification: