Token snelheid van llama.cpp op 16 GB VRAM (tabellen).
Hier vergelijk ik de snelheid van verschillende LLM’s die op een GPU met 16 GB VRAM draaien, en kies ik de beste voor self-hosting.
De RTX 5090 is in Australië schaars en overprijsd.
Australië heeft voorraad RTX 5090. Amper. En als je er eentje vindt, betaal je een premie die los staat van de realiteit.
Vergelijking van chunkingstrategieën in RAG
Chunking is de meest onderschatte hyperparameter in Retrieval ‑ Augmenteerde Generatie (RAG): het bepaalt stilzwijgend wat je LLM “ziet”, hoe duur de ingesting wordt, en hoeveel van de contextwindow van de LLM je verbruikt per antwoord.
Beheer gegevens en modellen met zelfgehoste LLMs
Self-hosting van LLMs houdt gegevens, modellen en inferentie onder jouw controle - een praktische weg naar AI-sovereiniteit voor teams, bedrijven en naties.
LLM-snelheidstest op RTX 4080 met 16 GB VRAM
Het lokaal uitvoeren van grote taalmodellen biedt privacy, offline mogelijkheden en nul API-kosten. Deze benchmark laat precies zien wat men kan verwachten van 14 populaire LLMs op Ollama op een RTX 4080.
Controle van GPU- en RAM-prijzen in januari 2025
Vandaag kijken we naar de top-level consumentengrafische kaarten en RAM-modules. Specifiek kijk ik naar RTX-5080 en RTX-5090-prijzen, en 32GB (2x16GB) DDR5 6000.
Kies het juiste terminalvenster voor je Linux-werkstroom
Een van de meest essentiële tools voor Linux-gebruikers is de terminal emulator.
Real AUD-prijzen van Australische retailers, nu.
De NVIDIA DGX Spark (GB10 Grace Blackwell) is nu in Australië beschikbaar bij grote PC-handelaars met lokale voorraad. Als u de welvaartsprijzen en beschikbaarheid van de DGX Spark wereldwijd volgt, bent u misschien geïnteresseerd om te weten dat de prijzen in Australië variëren van $6.249 tot $7.999 AUD, afhankelijk van de opslagconfiguratie en de handelaar.
Cognee testen met lokale LLMs - reële resultaten
Cognee is een Python-framework voor het bouwen van kennisgrafieken uit documenten met behulp van LLMs. Werkt het echter met zelfgehoste modellen?
Hoe ik netwerkproblemen in Ubuntu heb opgelost
Na automatisch installeren van een nieuw kernel, heeft Ubuntu 24.04 het ethernet-netwerk verloren. Dit vervelende probleem is voor mij opnieuw voorgekomen, dus ik documenteer de oplossing hier om anderen te helpen die hetzelfde probleem ondervinden.
Korte post, alleen de prijs vermeldend.
Met deze gekke [prijsvolatiliteit van RAM](https://www.glukhov.org/nl/hardware/ “Analyse van GPUs, CPUs, RAM-prijzen, AI-werkstations en trends in compute-infrastructuur. Economie en prestatieoverwegingen van hardware voor moderne werklasten.) om een beter beeld te krijgen, laten we eerst zelf de RAM-prijzen in Australië volgen.
RAM-prijzen stijgen met 163-619% door de vraag naar AI die de aanvoer onder druk zet.
De geheugenmarkt ervaart eind 2025 ongekende prijsschommelingen, waarbij RAM-prijzen dramatisch stijgen in alle segmenten.
Prijzen van voor AI geschikte consumentsgpu's - RTX 5080 en RTX 5090
Laten we prijzen vergelijken voor topconsumptie-GPU’s, die met name geschikt zijn voor LLM’s en AI in het algemeen. Specifiek kijk ik naar RTX-5080- en RTX-5090-prijzen.
Implementeer enterprise AI op budgethardware met open modellen
De democratisering van AI is een feit. Met open-source LLM’s zoals Llama, Mistral en Qwen die nu eigen modellen rivaliseren, kunnen teams krachtige AI-infrastructuur op consumentenhardware bouwen – kosten drastisch verlagen terwijl volledige controle over gegevensprivacy en implementatie behouden blijft.
Stel GPU-acceleratie in voor Docker Model Runner met ondersteuning voor NVIDIA CUDA
Docker Model Runner is Docker’s officiële tool om AI-modellen lokaal uit te voeren, maar NVIDIA GPU-acceleratie inschakelen in Docker Model Runner vereist specifieke configuratie.
