LLM

Ollama is snel geworden tot een van de populairste tools voor het lokaal uitvoeren van LLMs. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete optie gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud. Maar net als bij veel veelbelovende platforms zijn er al tekenen van Enshittification:

Locally geïnstalleerde Ollama stelt u in staat om grote taalmodellen op uw eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hier zijn verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.

Nvidia is bezig met het uitgeven van NVIDIA DGX Spark - een kleine AI-supercomputer op Blackwell-architectuur met 128+GB geïntegreerde RAM en 1 PFLOPS AI-prestaties. Mooi apparaat om LLMs te draaien.

Hier hebben we een beschrijving van het Model Context Protocol (MCP), korte aantekeningen over hoe je een MCP-server in Go kunt implementeren, inclusief berichtstructuur en protocolespecificaties.

Aangezien standaard Ollama geen directe rerank API heeft, zal je herordenen met Qwen3 Reranker in GO moeten implementeren door embeddings te genereren voor query-documentparen en deze te scoren.

In deze test ben ik aan het vergelijken hoe verschillende LLMs die op Ollama zijn gehost Hugo-pagina’s vertalen van Engels naar Duits. Drie pagina’s die ik heb getest, waren over verschillende onderwerpen, hadden wat mooie markdown met enige structuur: koppen, lijsten, tabellen, links, enzovoort.

Dit kleine Reranking Go codevoorbeeld roept Ollama aan om embeddings te genereren voor de query en voor elk kandidaatdocument, en vervolgens sorteren in dalende volgorde op cosinus-afstand.

De Qwen3 Embedding en Reranker modellen zijn de nieuwste uitgaven in de Qwen-familie, specifiek ontworpen voor geavanceerde tekst-embedding, ophalen en herordenen taken.

Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.

In de Ollama modellenbibliotheek zijn er modellen die in staat zijn HTML-inhoud om te zetten in Markdown, wat handig is voor inhoudsconversietaken.

• Zoeken is het beste voor snelle, directe informatieophaal met behulp van trefwoorden.
• Diepe zoekopdracht is uitstekend in het begrijpen van context en intentie, en levert relevantere en uitgebreidere resultaten voor complexe vragen.

Hier vindt u een overzicht van enkele AI-gestuurde programmeringstools en hun vooruitvoordelen:

Het gebruik van LLMs is niet erg duur, er is mogelijk geen behoefte om een nieuw geweldige GPU te kopen.
Hier is een lijst met LLM providers in de cloud die LLMs hosten.

Ik heb een theorie om te testen – als we alle kernen op een Intel CPU gebruiken, verhoogt dat de snelheid van LLMs? Het irriteert me dat de nieuwe gemma3 27 bit model (gemma3:27b, 17 GB op ollama) niet past in de 16 GB VRAM van mijn GPU en gedeeltelijk op de CPU draait.

In het midden van de moderne wereld’s onrust ben ik tech specs van verschillende kaarten vergelijken die geschikt zijn voor AI taken (Deep Learning, Object Detectie en LLMs). Ze zijn allemaal enorm duur, echter.