LLM

Duże modele językowe (LLMs)
są potężne, ale w środowisku produkcyjnym rzadko chcemy wolnych paragrafów.
Zamiast tego chcemy przewidywalne dane: atrybuty, fakty lub strukturalne obiekty, które można przekazać do aplikacji.
To Strukturalne wyjście LLM.

Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi
z poprzednią wersją Ollama. Nowa wersja jest gorsza.

Ollama szybko stało się jednym z najpopularniejszych narzędzi do lokalnego uruchamiania modeli językowych. Jego prosty interfejs CLI oraz zoptymalizowany zarządzanie modelami sprawiły, że stał się pierwszym wyborem dla programistów, którzy chcą pracować z modelami AI poza chmurą. Ale tak jak w przypadku wielu obiecujących platform, już teraz pojawiają się pierwsze oznaki Enshittification:

Lokalnie hostowany Ollama umożliwia uruchamianie dużych modeli językowych na własnym komputerze, ale korzystanie z niego przez wiersz poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

NVIDIA wkrótce wyda NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell z 128+GB jednolitej pamięci RAM i wydajnością 1 PFLOPS w zakresie AI. Świetny sprzęt do uruchamiania LLM.

Oto opis Protokołu Kontekstu Modelu (MCP), krótkie uwagi dotyczące sposobu implementacji serwera MCP w Go, w tym struktura wiadomości i specyfikacja protokołu.

Ponieważ standardowy Ollama nie ma bezpośredniego interfejsu API do ponownego rangowania, musisz zaimplementować ponowne rangowanie przy użyciu Qwen3 Reranker w GO generując embeddingi dla par zapytań i dokumentów oraz oceniając je.

W tym teście porównuję, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo z angielskiego na niemiecki: porównanie, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo. Trzy strony, które przetestowałem, dotyczyły różnych tematów, miały ładny markdown z pewną strukturą: nagłówki, listy, tabele, linki itp.

To ta mała przykładowa wersja kodu Go do rerankingu, która wywołuje Ollama w celu wygenerowania wektorów dla zapytania oraz dla każdego kandydującego dokumentu, następnie sortuje malejąco według podobieństwa kosinusowego.

Modele Qwen3 Embedding i Reranker to najnowsze wersje w rodzinie Qwen, specjalnie zaprojektowane do zaawansowanych zadań w zakresie wstawiania tekstu, wyszukiwania i ponownego rangowania.

Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

W bibliotece modeli Ollama znajdują się modele, które potrafią przekształcać zawartość HTML w Markdown, co jest przydatne w zadaniach konwersji treści.

• Wyszukiwanie jest najlepsze do szybkiego, prostego odnajdywania informacji za pomocą słów kluczowych.
• Głębokie wyszukiwanie wyróżnia się w zrozumieniu kontekstu i intencji, dostarczając bardziej relevantnych i kompletnych wyników dla skomplikowanych zapytań.

W tym miejscu wymienię niektóre narzędzia wspomagane przez AI do kodowania oraz asystentów kodowania opartych na AI i ich pozytywne strony.

Użycie modeli językowych (LLM) nie jest bardzo drogie, może nie być potrzeby zakupu nowego, wspaniałego GPU.
Oto lista dostawców LLM w chmurze: dostawcy LLM w chmurze z LLM, które hostują.

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.