GPT-OSS 120b benchmarks op drie AI-platforms
Ik vond enkele interessante prestatietests van GPT-OSS 120b die draaien op Ollama over drie verschillende platforms: NVIDIA DGX Spark, Mac Studio en RTX 4080. De GPT-OSS 120b model uit de Ollama bibliotheek weegt 65 GB, wat betekent dat het niet past in de 16 GB VRAM van een RTX 4080 (of de nieuwere RTX 5080).
Vergelijk Docker Model Runner en Ollama voor lokale LLM
Het lokaal uitvoeren van grote taalmodellen (LLMs) is steeds populairder geworden vanwege privacy, kostcontrole en offline functionaliteit. Het landschap veranderde aanzienlijk in april 2025 toen Docker Docker Model Runner (DMR) introduceerde, hun officiële oplossing voor AI-modellering.
Integreer Ollama met Go: SDK-handboek, voorbeelden en productiebest practices.
Deze gids biedt een uitgebreid overzicht van beschikbare Go SDKs voor Ollama en vergelijkt hun functionaliteiten.
Vergelijking van snelheid, parameters en prestaties van deze twee modellen
Hier is een vergelijking tussen Qwen3:30b en GPT-OSS:20b
met aandacht voor instructievolgzaamheid en prestatieparameters, specificaties en snelheid:
+ Specifieke Voorbeelden met Denkende LLMs
In dit bericht verkennen we twee manieren om uw Python-toepassing te verbinden met Ollama: 1. Via de HTTP REST API; 2. Via de officiële Ollama Python-bibliotheek.
Niet erg aangenaam.
Ollama’s GPT-OSS modellen hebben herhalende problemen bij het verwerken van gestructureerde uitvoer, vooral wanneer ze worden gebruikt met frameworks zoals LangChain, OpenAI SDK, vllm en andere.
Een paar manieren om gestructureerde uitvoer te krijgen van Ollama
Large Language Models (LLMs) zijn krachtig, maar in productie willen we zelden vrije tekst. In plaats daarvan willen we voorspelbare data: kenmerken, feiten of gestructureerde objecten die je kunt voeden in een app. Dat is LLM Structured Output.
Mijn eigen test van ollama model scheduling ```
Hier vergelijk ik hoeveel VRAM de nieuwe versie van Ollama toewijst aan het model hier met de vorige Ollama-versie. De nieuwe versie is erger.
Mijn visie op de huidige staat van Ollama-ontwikkeling
Ollama is snel geworden tot een van de populairste tools voor het lokaal uitvoeren van LLMs. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete optie gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud. Maar net als bij veel veelbelovende platforms zijn er al tekenen van Enshittification:
Korte overzicht van de meest opvallende UI's voor Ollama in 2025
Locally geïnstalleerde Ollama stelt u in staat om grote taalmodellen op uw eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hier zijn verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.
RAG implementeren? Hier zijn enkele Go-codefragmenten - 2...
Aangezien standaard Ollama geen directe rerank API heeft, zal je herordenen met Qwen3 Reranker in GO moeten implementeren door embeddings te genereren voor query-documentparen en deze te scoren.
qwen3 8b, 14b en 30b, devstral 24b, mistral small 24b
In deze test ben ik aan het vergelijken hoe verschillende LLMs die op Ollama zijn gehost Hugo-pagina’s vertalen van Engels naar Duits. Drie pagina’s die ik heb getest, waren over verschillende onderwerpen, hadden wat mooie markdown met enige structuur: koppen, lijsten, tabellen, links, enzovoort.
RAG implementeren? Hier zijn enkele codefragmenten in Golang.
Dit kleine Reranking Go codevoorbeeld roept Ollama aan om embeddings te genereren voor de query en voor elk kandidaatdocument, en vervolgens sorteren in dalende volgorde op cosinus-afstand.
Nieuwe geweldige LLMs beschikbaar in Ollama
De Qwen3 Embedding en Reranker modellen zijn de nieuwste uitgaven in de Qwen-familie, specifiek ontworpen voor geavanceerde tekst-embedding, ophalen en herordenen taken.
Overweegt u een tweede GPU te installeren voor LLMs?
Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.
