Hardware

Self-hosting van LLMs houdt gegevens, modellen en inferentie onder jouw controle - een praktische weg naar AI-sovereiniteit voor teams, bedrijven en landen.
Hier: wat AI-sovereiniteit is, welke aspekten en methoden worden gebruikt om het te bouwen, hoe LLM self-hosting erin past en hoe landen het probleem aanpakken.

De lokale uitvoering van grote taalmodellen biedt privacy, offline mogelijkheden en nul API-kosten. Deze benchmark toont precies aan wat men kan verwachten van 9 populaire LLMs op Ollama op een RTX 4080.

Vandaag kijken we naar de top-level consumentengrafische kaarten en RAM-modules. Specifiek kijk ik naar RTX-5080 en RTX-5090-prijzen, en 32GB (2x16GB) DDR5 6000.

Een van de meest essentiële tools voor Linux-gebruikers is de terminal emulator.

De
NVIDIA DGX Spark
(GB10 Grace Blackwell) is
nu beschikbaar in Australië
bij grote PC-afnemers met lokale voorraad.
Als je de
wereldwijde DGX Spark prijzen en beschikbaarheid
volgde, dan zul je geïnteresseerd zijn om te weten dat de Australische prijzen variëren van $6.249 tot $7.999 AUD afhankelijk van de opslagconfiguratie en de verkoper.

Cognee is een Python-framework voor het bouwen van kennisgrafieken uit documenten met behulp van LLMs. Werkt het met zelfgehoste modellen?

Na automatisch installeren van een nieuw kernel, heeft Ubuntu 24.04 het ethernet-netwerk verloren. Dit vervelende probleem is voor mij opnieuw voorgekomen, dus ik documenteer de oplossing hier om anderen te helpen die hetzelfde probleem ondervinden.

Met deze gekke prijsstijging van de RAM, om een beter beeld te vormen, laten we eerst zelf de RAM-prijs in Australië volgen.

De geheugenmarkt ervaart ongekende prijsstabiliteit in het laatste deel van 2025, met RAM-prijzen die schieten omhoog dramatisch over alle segmenten.

Laat ons de prijzen van topniveau consumenten GPU’s vergelijken, die geschikt zijn voor LLM’s in het bijzonder en AI in het algemeen. Specifiek kijk ik naar RTX-5080 en RTX-5090 prijzen.

De democratisering van AI is nu een feit. Met open-source LLMs zoals Llama 3, Mixtral en Qwen die nu concurreren met eigenaarmodellen, kunnen teams krachtige AI-infrastructuur op consumentenhardware bouwen - kosten verminderen terwijl volledige controle wordt behouden over gegevensprivacy en implementatie.

Docker Model Runner is het officiële hulpmiddel van Docker om AI-modellen lokaal uit te voeren, maar NVidia GPU-acceleratie inschakelen in Docker Model Runner vereist specifieke configuratie.

Ik vond enkele interessante prestatietests van GPT-OSS 120b die draaien op Ollama over drie verschillende platforms: NVIDIA DGX Spark, Mac Studio en RTX 4080. De GPT-OSS 120b model uit de Ollama bibliotheek weegt 65 GB, wat betekent dat het niet past in de 16 GB VRAM van een RTX 4080 (of de nieuwere RTX 5080).

Docker Model Runner (DMR) is de officiële oplossing van Docker voor het lokaal uitvoeren van AI-modellen, geïntroduceerd in april 2025. Deze cheatsheet biedt een snelle verwijzing naar alle essentiële opdrachten, configuraties en best practices.

In het huidige computertijdperk is virtueleisering essentieel geworden voor ontwikkeling, testen en het draaien van meerdere besturingssystemen. Voor Linux-gebruikers die op zoek zijn naar een eenvoudige en intuïtieve manier om virtuele machines te beheren, is GNOME Boxes een lichte en gebruikersvriendelijke optie die zich op eenvoud van gebruik richt zonder functie te verliezen.

De toekomst van AI is niet alleen over slimme modellen - het gaat om slimme silicium.

Specialistische hardware voor LLM-inferentie trekt een revolutie aan die vergelijkbaar is met de overgang van Bitcoin-mining naar ASICs.