Ollama

Lokalt värdade Ollama gör det möjligt att köra stora språkmodeller på din egen dator, men att använda det via kommandoraden är inte användarvänligt. Här är flera öppna källkodsprojekt som erbjuder ChatGPT-stilgränssnitt som ansluter till ett lokalt Ollama.

Ett standard Ollama-verktyg har ingen direkt rerank-API, så du måste implementera reranking med Qwen3 Reranker i GO genom att generera inbäddningar för fråga-dokument-par och poängsätta dem.

I den här testen jämför jag hur olika LLMs som är värdade på Ollama översätter Hugo-sidor från engelska till tyska. Tre sidor som jag testade handlade om olika ämnen och hade trevlig markdown med struktur: rubriker, listor, tabeller, länkar etc.

Den här lilla Go-kodexemplet för omrankning använder Ollama för att generera inbäddningar för frågan och för varje kandidatdokument, sedan sorterar i fallande ordning efter cosinuslikhet.

Modellerna för Qwen3 Embedding och Reranker (https://www.glukhov.org/sv/post/2025/06/qwen3-embedding-qwen3-reranker-on-ollama/ “Qwen3 Embedding och Reranker modeller på ollama”) är de senaste lanseringarna i Qwen-familjen, specifikt utformade för avancerade textembedding-, återvinning- och omrankningstjänster.

Hur PCIe-lanes påverkar LLM-prestanda? Beroende på uppgiften. Vid träning och multi-gpu-inferens - prestandafallet är betydande.

I biblioteket med Ollama-modeller finns det modeller som kan konvertera HTML-innehåll till Markdown, vilket är användbart för uppgifter som innehållskonvertering.

Listar här några AI-assisterade kodverktyg och AI-kodassistenter och deras bra sidor.

Jag har en teori att jag vill testa - om användningen av alla kärnor på en Intel CPU skulle öka hastigheten på LLMs?

Det här plågar mig att den nya gemma3 27-bitarsmodellen (gemma3:27b, 17GB på ollama) inte passar in i min GPUs 16GB VRAM och delvis körs på CPU.

När Ollama-servern tar emot två förfrågningar samtidigt, beror dess beteende på dess konfiguration och tillgängliga systemresurser.

DeepSeek’s första generation av resonemangsmodeller med jämförbar prestanda med OpenAI-o1, inklusive sex täta modeller destillerade från DeepSeek-R1 baserade på Llama och Qwen.

Här är listan och exempel på de mest användbara Ollama-kommandona (Ollama kommandon översikt) som jag sammanställde för någon tid sedan. Hoppas det kommer att vara användbart för dig också.

Nyligen släpptes Mistral Small. Låt oss ta reda på och testa hur Mistral Small presterar jämfört med andra LLMs.

Reranking är ett andra steg i Retrieval Augmented Generation (RAG) system, precis mellan Retrieval och Generating.

Läcker mat är också en njutning för ögonen. Men i den här posten kommer vi att jämföra två AI-baserade söksystem, Farfalle och Perplexica.

Det är mycket spännande! Istället för att ringa copilot eller perplexity.ai och berätta för hela världen vad du letar efter, kan du nu värd för en liknande tjänst på din egen PC eller bärbara dator!