Self-Hosting

In deze test ben ik aan het vergelijken hoe verschillende LLMs die op Ollama zijn gehost Hugo-pagina’s vertalen van Engels naar Duits. Drie pagina’s die ik heb getest, waren over verschillende onderwerpen, hadden wat mooie markdown met enige structuur: koppen, lijsten, tabellen, links, enzovoort.

Dit kleine Reranking Go codevoorbeeld roept Ollama aan om embeddings te genereren voor de query en voor elk kandidaatdocument, en vervolgens sorteren in dalende volgorde op cosinus-afstand.

Precies 3 maanden geleden zagen we de RTX 5090 nog niet in de winkels, en nu zijn ze er wel, maar de prijzen zijn iets hoger dan de MRSP. Laten we de goedkoopste prijzen voor RTX 5080 en RTX 5090 in Australië vergelijken en kijken hoe het ervoor staat.

YaCy is een decentraliseerde, peer-to-peer (P2P) zoekmachine die is ontworpen om te functioneren zonder centrale servers, waardoor gebruikers lokale of globale indexen kunnen maken en zoekopdrachten kunnen uitvoeren door gedistribueerde peers te raadplegen.

Top geautomatiseerd systeem voor een geweldige baan.

De Qwen3 Embedding en Reranker modellen zijn de nieuwste uitgaven in de Qwen-familie, specifiek ontworpen voor geavanceerde tekst-embedding, ophalen en herordenen taken.

Al een tijdje ben ik geplaagd door deze vervelende gewoonte om thumbnail afbeeldingen van de pagina’s in de statische map te plaatsen. Dat geldt voor Mainroad, Rodster en vergelijkbare Hugo-themes.

Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.

De volgende stap is het implementeren van enige CI/CD en het instellen van
Gitea Actions voor Hugo website, om website naar AWS S3 te pushen
automatisch wanneer de master branch wordt bijgewerkt.

In de Ollama modellenbibliotheek zijn er modellen die in staat zijn HTML-inhoud om te zetten in Markdown, wat handig is voor inhoudsconversietaken.

Hier vindt u een overzicht van enkele AI-gestuurde programmeringstools en hun vooruitvoordelen:

Ik heb een theorie om te testen – als we alle kernen op een Intel CPU gebruiken, verhoogt dat de snelheid van LLMs? Het irriteert me dat de nieuwe gemma3 27 bit model (gemma3:27b, 17 GB op ollama) niet past in de 16 GB VRAM van mijn GPU en gedeeltelijk op de CPU draait.

MinIO biedt twee standaard UI’s: (1) MinIO Console - dat is een webgebruikersinterface, en (2) MinIO Command - dit is een commandline util mc.

MinIO is een open-source, hoogprestaties, gedistribueerde objectopslag die volledig compatibel is met de Amazon S3 API.

In het midden van de moderne wereld’s onrust ben ik tech specs van verschillende kaarten vergelijken die geschikt zijn voor AI taken (Deep Learning, Object Detectie en LLMs). Ze zijn allemaal enorm duur, echter.