Ollama

Listar här några AI-assisterade kodverktyg och AI-kodassistenter och deras bra sidor.

Jag har en teori att jag vill testa - om användningen av alla kärnor på en Intel CPU skulle öka hastigheten på LLMs?

Det här plågar mig att den nya gemma3 27-bitarsmodellen (gemma3:27b, 17GB på ollama) inte passar in i min GPUs 16GB VRAM och delvis körs på CPU.

När Ollama-servern tar emot två förfrågningar samtidigt, beror dess beteende på dess konfiguration och tillgängliga systemresurser.

DeepSeek’s första generation av resonemangsmodeller med jämförbar prestanda med OpenAI-o1, inklusive sex täta modeller destillerade från DeepSeek-R1 baserade på Llama och Qwen.

Här är listan och exempel på de mest användbara Ollama-kommandona (Ollama kommandon översikt) som jag sammanställde för någon tid sedan. Hoppas det kommer att vara användbart för dig också.

Nyligen släpptes Mistral Small. Låt oss ta reda på och testa hur Mistral Small presterar jämfört med andra LLMs.

Reranking är ett andra steg i Retrieval Augmented Generation (RAG) system, precis mellan Retrieval och Generating.

Läcker mat är också en njutning för ögonen. Men i den här posten kommer vi att jämföra två AI-baserade söksystem, Farfalle och Perplexica.

Det är mycket spännande! Istället för att ringa copilot eller perplexity.ai och berätta för hela världen vad du letar efter, kan du nu värd för en liknande tjänst på din egen PC eller bärbara dator!

Nyligen har vi sett flera nya LLMs som släppts. Spännande tider. Låt oss testa och se hur de presterar när de upptäcker logiska felaktigheter.

När jag började experimentera med LLMs var gränssnitten för dem i aktiv utveckling och nu är några av dem verkligen bra.

Även om det finns några vanliga metoder för att skriva bra instruktioner så att LLM inte blir förvirrad när den försöker förstå vad du vill ha av den.

Testar hur modeller med olika antal parametrar och kvantisering beter sig.

Efter installation av ollama är det bättre att konfigurera om ollama för att lagra dem på nytt plats direkt. Så när vi hämtar en ny modell, laddas den inte ner till den gamla platsen.