Self-Hosting

Proxmox Virtual Environment (Proxmox VE) is een open-source, type-1 hypervisor en datacenter-orchestratieplatform gebaseerd op Debian.

Weer en weer vergelijken we de prijzen van topniveau consumenten GPU’s, die geschikt zijn voor LLMs in het bijzonder en AI in het algemeen. Specifiek kijk ik naar RTX-5080 en RTX-5090 prijzen. Ze zijn licht gedaald.

Ollama’s GPT-OSS modellen hebben herhalende problemen bij het verwerken van gestructureerde uitvoer, vooral wanneer ze worden gebruikt met frameworks zoals LangChain, OpenAI SDK, vllm en andere.

Large Language Models (LLMs) zijn krachtig, maar in productie willen we zelden vrije tekst. In plaats daarvan willen we voorspelbare data: kenmerken, feiten of gestructureerde objecten die je kunt voeden in een app. Dat is LLM Structured Output.

Voor KDE Plasma-fans komen twee Linux-distributies vaak ter sprake in discussies: Kubuntu en KDE Neon. Ze kunnen op het eerste gezicht gelijk lijken – beide gebruiken KDE Plasma als standaard bureaublad, zijn gebaseerd op Ubuntu en zijn toegankelijk voor beginners.

Hier vergelijk ik hoeveel VRAM de nieuwe versie van Ollama toewijst aan het model hier met de vorige Ollama-versie. De nieuwe versie is erger.

Deze gids leidt je stap voor stap door het proces van het wijzigen van de statische IP-adres op een Ubuntu Server.

Ollama is snel geworden tot een van de populairste tools voor het lokaal uitvoeren van LLMs. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete optie gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud. Maar net als bij veel veelbelovende platforms zijn er al tekenen van Enshittification:

Mumble is een gratis en open-source voice over IP (VoIP)-toepassing die vooral is ontworpen voor real-time spraakcommunicatie. Het gebruikt een client-serverarchitectuur waarbij gebruikers verbinding maken met een gedeelde server om met elkaar te praten.

Locally geïnstalleerde Ollama stelt u in staat om grote taalmodellen op uw eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hier zijn verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.

GPU belasting monitoring toepassingen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Hier is een stap-voor-stap walkthrough van
installatie van een 3-knooppunt K3s cluster
op bare-metal servers (1 master + 2 workers).

Vergelijking van self-hosting Kubernetes distributies voor het hosten op bare-metal of thuis-servers, met aandacht voor eenvoud van installatie, prestaties, systeemvereisten en functie-aanbod.

Ik ben het vergelijken van self-hosted Kubernetes varianten die geschikt zijn voor de Ubuntu-gebaseerde homelab met 3 knooppunten (16 GB RAM, 4 cores elk), met aandacht voor eenvoud van installatie en onderhoud, ondersteuning voor persistente volumes en LoadBalancers.

GitHub Actions
is een automatiserings- en CI/CD-platform binnen GitHub, gebruikt om uw code te bouwen, te testen en te implementeren op basis van gebeurtenissen zoals pushes, pull requests of op een schema.

Hier is een
Docker Compose naslagblad
met aangegeven voorbeelden om je snel te helpen Compose-bestanden en -opdrachten te beheersen.