LLM Hosting

Het instellen van contextgrootte in Docker Model Runner is complexer dan het zou moeten zijn.

Docker Model Runner is Docker’s officiële tool om AI-modellen lokaal uit te voeren, maar NVIDIA GPU-acceleratie inschakelen in Docker Model Runner vereist specifieke configuratie.

Docker Model Runner (DMR) is de officiële oplossing van Docker voor het lokaal uitvoeren van AI-modellen, geïntroduceerd in april 2025. Deze cheatsheet biedt een snelle verwijzing naar alle essentiële opdrachten, configuraties en beste praktijken.

Het uitvoeren van grote taalmodellen (LLMs) lokaal is steeds populairder geworden vanwege privacy, kostcontrole en offlinefunctionaliteiten. Het landschap is aanzienlijk veranderd in april 2025 toen Docker Docker Model Runner (DMR) introduceerde, hun officiële oplossing voor AI-modellering.

Deze gids biedt een uitgebreid overzicht van beschikbare Go SDKs voor Ollama en vergelijkt hun functionaliteiten.

In dit bericht gaan we twee manieren bespreken om je Python-toepassing te verbinden met Ollama: 1. Via de HTTP REST API; 2. Via de officiële Ollama Python-bibliotheek.

Ollama is snel geworden tot een van de meest populaire tools om LLMs lokaal uit te voeren. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete keuze gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud.

Locally geïnstalleerde Ollama maakt het mogelijk om grote taalmodellen op je eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hieronder vind je verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.

In deze test ben ik aan het vergelijken hoe verschillende LLMs die op Ollama worden gehost de Hugo-pagina vertalen van Engels naar Duits.

Het gebruik van LLMs is niet erg duur, er is mogelijk geen behoefte om een nieuw geweldige GPU aan te schaffen.
Hier is een lijst met LLM providers in de cloud met LLMs die ze hosten.

DeepSeek’s eerste generatie redeneingsmodellen met vergelijkbare prestaties als OpenAI-o1, waaronder zes dichte modellen gedistilleerd van DeepSeek-R1 gebaseerd op Llama en Qwen.

Deze Ollama CLI-cheat sheet richt zich op de commando’s die je dagelijks gebruikt (ollama ls, ollama serve, ollama run, ollama ps, modelbeheer en veelvoorkomende workflows), met voorbeelden die je kunt kopiëren en plakken.

Geweldige eten is ook een plezier voor de ogen. Maar in dit bericht vergelijken we twee op AI gebaseerde zoeksystemen: Farfalle en Perplexica.

Dat is erg spannend! In plaats van Copilot of perplexity.ai aan te roepen en de hele wereld te vertellen wat je zoekt, kun je nu een vergelijkbare dienst op je eigen PC of laptop hosten!

Na het installeren van Ollama is het beter om Ollama direct opnieuw te configureren om de modellen op een nieuwe locatie op te slaan. Zodat wanneer we een nieuw model ophalen, deze niet naar de oude locatie wordt gedownload.