LLM

Stora språkmodeller (LLMs) är kraftfulla, men i produktion vill vi sällan ha fritt formulerade stycken. Istället vill vi ha förutsägbart data: attribut, fakta eller strukturerade objekt som du kan mata in i en app. Det är LLM Strukturerad Utdata.

Här jämför jag hur mycket VRAM den nya versionen av Ollama tilldelar modellen (https://www.glukhov.org/sv/post/2025/09/memory-allocation-in-ollama-new-version/ “Ollama VRAM-allokering”) jämfört med tidigare version. Den nya versionen är sämre.

Ollama har snabbt blivit ett av de mest populära verktygen för att köra LLMs lokalt. Dess enkla CLI och strömlinjeformade modellhantering har gjort det till ett förstahandsval för utvecklare som vill arbeta med AI-modeller utanför molnet. Men som med många lovande plattformar finns det redan tecken på Enshittification:

Lokalt värdade Ollama gör det möjligt att köra stora språkmodeller på din egen dator, men att använda det via kommandoraden är inte användarvänligt. Här är flera öppna källkodsprojekt som erbjuder ChatGPT-stilgränssnitt som ansluter till ett lokalt Ollama.

Nvidia står inför att släppa NVIDIA DGX Spark - en liten AI-superdator på Blackwell-arkitektur med 128+GB enhetligt RAM och 1 PFLOPS AI-prestanda. En trevlig enhet för att köra LLMs.

Här har vi en beskrivning av The Model Context Protocol (MCP), korta anteckningar om hur man implementerar en MCP-server i Go, inklusive meddelandestruktur och protokollspecificeringar.

Ett standard Ollama-verktyg har ingen direkt rerank-API, så du måste implementera reranking med Qwen3 Reranker i GO genom att generera inbäddningar för fråga-dokument-par och poängsätta dem.

I den här testen jämför jag hur olika LLMs som är värdade på Ollama översätter Hugo-sidor från engelska till tyska. Tre sidor som jag testade handlade om olika ämnen och hade trevlig markdown med struktur: rubriker, listor, tabeller, länkar etc.

Den här lilla Go-kodexemplet för omrankning använder Ollama för att generera inbäddningar för frågan och för varje kandidatdokument, sedan sorterar i fallande ordning efter cosinuslikhet.

Modellerna för Qwen3 Embedding och Reranker (https://www.glukhov.org/sv/post/2025/06/qwen3-embedding-qwen3-reranker-on-ollama/ “Qwen3 Embedding och Reranker modeller på ollama”) är de senaste lanseringarna i Qwen-familjen, specifikt utformade för avancerade textembedding-, återvinning- och omrankningstjänster.

Hur PCIe-lanes påverkar LLM-prestanda? Beroende på uppgiften. Vid träning och multi-gpu-inferens - prestandafallet är betydande.

I biblioteket med Ollama-modeller finns det modeller som kan konvertera HTML-innehåll till Markdown, vilket är användbart för uppgifter som innehållskonvertering.

• Sökning är bäst för snabb och rak informationshämtning med hjälp av nyckelord.
• Djup Sökning utmärker sig genom att förstå kontext och avsikt, vilket ger mer relevanta och omfattande resultat för komplexa frågor.

Listar här några AI-assisterade kodverktyg och AI-kodassistenter och deras bra sidor.

Användning av LLMs är inte särskilt dyrt, kanske finns det inte ens behov av att köpa nya fantastiska GPU:er. Här är en lista över LLM-leverantörer i molnet med de LLMs de erbjuder.

Jag har en teori att jag vill testa - om användningen av alla kärnor på en Intel CPU skulle öka hastigheten på LLMs?

Det här plågar mig att den nya gemma3 27-bitarsmodellen (gemma3:27b, 17GB på ollama) inte passar in i min GPUs 16GB VRAM och delvis körs på CPU.