LLM Hosting

Konfigurera kontextstorlek i Docker Model Runner är mer komplex än det borde vara.

Docker Model Runner är Docks officiella verktyg för att köra AI-modeller lokalt, men aktivera NVidia GPU-acceleration i Docker Model Runner kräver specifik konfiguration.

Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här cheatsheten ger en snabb referens för alla viktiga kommandon, konfigurationer och bästa praxis.

Att köra stora språkmodeller (LLMs) lokalt har blivit alltmer populärt för skydd av integritet, kostnadsstyrning och möjlighet att använda modeller offline. Landskapet förändrades betydligt i april 2025 när Docker introducerade Docker Model Runner (DMR), sin officiella lösning för distribution av AI-modeller.

Den här guiden ger en omfattande översikt över tillgängliga Go SDK:er för Ollama och jämför deras funktionssätt.

I detta inlägg kommer vi att utforska två sätt att ansluta din Python-applikation till Ollama: 1. Via HTTP REST API; 2. Via den officiella Ollama Python-biblioteket.

Ollama har snabbt blivit en av de mest populära verktygen för att köra LLM:er lokalt. Dess enkla CLI och streamlina modellhantering har gjort det till ett förfrågat alternativ för utvecklare som vill arbeta med AI-modeller utanför molnet.

Lokalt värd Ollama möjliggör att köra stora språkmodeller på din egen dator, men att använda den via kommandoraden är inte användarvänligt. Här är flera öppen källkodprojekt som tillhandahåller ChatGPT-stilgränssnitt som ansluter till en lokal Ollama.

I denna test jämför jag hur olika LLM:er som är värd på Ollama översätter Hugo-sidor från engelska till tyska: jämföra hur olika LLM:er värd på Ollama översätter Hugo-sida.

Användning av LLM:er är inte särskilt kostsam, det kan inte behövas köpa nya fantastiska GPU:er. Här är en lista över LLM-leverantörer i molnet med LLM:er de värdar.

DeepSeek’s första generation av resonemodeller med jämförbar prestanda med OpenAI-o1, inklusive sex tätmodeller distillerade från DeepSeek-R1 baserade på Llama och Qwen.

Denna Ollama CLI-snabbkurs fokuserar på kommandon du använder varje dag (ollama ls, ollama serve, ollama run, ollama ps, hantering av modeller och vanliga arbetsflöden), med exempel du kan kopiera och klistra in.

Underbar mat är också en njutning för ögonen. Men i detta inlägg jämför vi två AI-baserade söksystem, Farfalle och Perplexica.

Det är väldigt spännande! Istället för att ringa Copilot eller perplexity.ai och berätta för hela världen vad du letar efter, kan du nu värdshålla en liknande tjänst på din egen PC eller bärbara dator!

Efter att ha installerat Ollama är det bättre att omedelbart omkonfigurera Ollama så att den lagrar modellerna på en ny plats. Så när vi drar ner en ny modell, laddas den inte ner till den gamla platsen.