Rag

Oto porównanie Qwen3:30b i GPT-OSS:20b z naciskiem na przestrzeganie instrukcji oraz parametry wydajności, specyfikacje i prędkość.

W tym wpisie omówimy dwa sposoby połączenia swojej aplikacji Python z Ollama: 1. Poprzez HTTP REST API; 2. Poprzez oficjalną bibliotekę Pythona do Ollama.

Oto porównanie wsparcia dla ustrukturyzowanego wyjścia (podejmowanie wiarygodnego JSON z powrotem) między popularnymi dostawcami LLM, oraz minimalistyczne przykłady w Pythonie

Wielkie modele językowe (LLM) są potężne, ale w środowisku produkcyjnym rzadko chcemy otrzymywać swobodne akapity. Zamiast tego oczekujemy przewidywalnych danych: atrybutów, faktów lub strukturyzowanych obiektów, które możemy podać jako dane wejściowe do aplikacji. Oto czym jest Strukturyzowany Output LLM.

Ponieważ standardowe Ollama nie posiada bezpośredniego interfejsu API do ponownego rankingu (reranking), musisz zaimplementować ponowny ranking przy użyciu Qwen3 Reranker w GO, generując wektory (embeddings) dla par zapytanie-dokument i przypisując im oceny.

Ten niewielki przykład kodu Go do rerankingu wywołuje Ollamę do generowania wektorów dla zapytania oraz dla każdego dokumentu kandydackiego, następnie sortuje wyniki malejąco według podobieństwa kosinusowego.

Modele Qwen3 Embedding i Reranker (https://www.glukhov.org/pl/rag/embeddings/ “Modele Qwen3 Embedding i Reranker na platformie ollama”) to najnowsze wydania z rodziny Qwen, zaprojektowane specjalnie do zaawansowanych zadań związanych z tworzeniem wektorów tekstu (embedding), odnajdywaniem informacji (retrieval) oraz ponownym ocenianiem wyników (reranking).

• Jeśli szukasz bezpośredniego odpowiednika Beautiful Soup w Go, skorzystaj z soup.
• W przypadku obsługi selektorów CSS, rozważ goquery.
• Do zapytań XPath użyj htmlquery.
• Inna opcja inspirowana Beautiful Soup to Node.

Jeśli szukasz odpowiednika Beautiful Soup w Go, istnieje kilka bibliotek oferujących podobną funkcjonalność parse’owania i scrapingu HTML:

W bibliotece modeli Ollama są modele, które potrafią konwertować zawartość HTML na Markdown, co jest przydatne w zadaniach związanych z konwersją treści. Ten przewodnik jest częścią naszego Narzędzia dokumentacyjne w 2026: Markdown, LaTeX, PDF i przepływ pracy druku hub.

Użycie modeli językowych dużych (LLM) nie jest bardzo drogie, może nie być potrzeby zakupu nowego, wspaniałego GPU.
Oto lista, jeśli dostawcy LLM w chmurze z LLM, które hostują.

Ten przewodnik wyjaśnia sposób, w jaki Ollama obsługuje równoległe żądania (koncelewność, kolejkowanie i ograniczenia zasobów) oraz jak dostosować jego działanie za pomocą zmiennej środowiskowej OLLAMA_NUM_PARALLEL (oraz powiązanych parametrów).

Modeli DeepSeek pierwszego pokolenia z wydajnością porównywalną do modeli OpenAI-o1, w tym sześć gęstych modeli oddestylowanych z DeepSeek-R1 opartych na Llama i Qwen.

Reranking to drugi krok w systemach RAG (Retrieval Augmented Generation), znajdujący się bezpośrednio między pobieraniem (Retrieving) a generowaniem (Generating).

Nadal istnieją pewne powszechne podejścia do pisania dobrych promptów, dzięki czemu LLM nie będzie się pogubił, próbując zrozumieć, czego od niego oczekujesz.

Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.