AI

Optymalizacja tokenów to kluczowa umiejętność, która oddziela kosztowe efektywne aplikacje LLM od eksperymentów zjadających budżet.

Immich to rewolucyjne, open-source, samozostawiające się rozwiązanie do zarządzania zdjęciami i filmami, które daje Ci pełną kontrolę nad swoimi wspomnieniami. Dzięki funkcjom równorzędnym Google Photos, w tym AI-powered rozpoznawaniu twarzy, inteligentnemu wyszukiwaniu i automatycznemu backupowi z telefonu, wszystko to, przy jednoczesnym zachowaniu prywatności i bezpieczeństwa danych na Twoim własnym serwerze.

Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Protokół Kontekstu Modelu (MCP) rewolucjonizuje sposób, w jaki asystenci AI interagują z zewnętrznymi źródłami danych i narzędziami. W tym przewodniku omówimy, jak zbudować serwery MCP w Pythonie, z przykładami skupionymi na możliwościach wyszukiwania w sieci i skrapowania.

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych poleceniach, konfiguracjach i najlepszych praktykach.

Uruchamianie dużych modeli językowych (LLM) lokalnie staje się coraz bardziej popularne ze względu na prywatność, kontrolę kosztów i możliwości offline. Landscape zmienił się znacząco w kwietniu 2025 roku, gdy Docker wprowadził Docker Model Runner (DMR), oficjalne rozwiązanie do wdrażania modeli AI.

Przyszłość AI to nie tylko mądrzejsze modele. To również półprzewodniki dostosowane do sposobu, w jaki te modele są faktycznie obsługiwane. Specjalistyczne układy sprzętowe do wnioskowania LLM podążają ścieżką przypominającą ewolucję kopalni Bitcoina od GPU do dedykowanych układów ASIC, choć z jeszcze bardziej surowymi ograniczeniami, ponieważ modele i metody precyzji ciągle się ewoluują.

NVIDIA DGX Spark jest prawdziwy, dostępny od 15 października 2025 r., skierowany do deweloperów CUDA potrzebujących lokalnej pracy z modelami LLM z zintegrowanym stackiem AI NVIDIA. Cena MSRP w USA: 3 999 USD; ceny detaliczne w Wielkiej Brytanii/Niemczech/Japonii są wyższe ze względu na VAT i kanały dystrybucji. Publiczne ceny w AUD/KRW nie są jeszcze szeroko publikowane.

Ten przewodnik oferuje kompleksowy przegląd dostępnych Go SDKs dla Ollama i porównuje ich zestawy funkcji.

Oto porównanie modeli Qwen3:30b i GPT-OSS:20b ze szczególnym uwzględnieniem zdolności do podążania za instrukcjami, parametrów wydajnościowych, specyfikacji technicznych oraz prędkości działania.

Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.

Duże modele językowe (LLM) są potężne, ale w środowiskach produkcyjnych rzadko interesują nas swobodne akapity tekstu. Zamiast tego chcemy przewidywalnych danych: atrybutów, faktów lub ustrukturyzowanych obiektów, które można przekazać do aplikacji. Oto ustrukturyzowana wyjścia z LLM.

Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.

Ollama szybko stało się jednym z najpopularniejszych narzędzi do uruchamiania modeli językowych na lokalnym komputerze.
Jego proste CLI i zoptymalizowane zarządzanie modelami sprawiły, że stało się preferowanym wyborem dla programistów, którzy chcą pracować z modelami AI poza chmurą.

Lokalnie hostowane Ollama umożliwia uruchomienie dużych modeli językowych na własnym komputerze, ale korzystanie z niego za pośrednictwem wiersza poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

Liczba przesłanych danych z ankiety o popularność języków programowania, IDE i narzędzi AI z kilku dni temu została opublikowana w liście The Pragmatic Engineer popularność języków programowania, IDE i narzędzi AI oraz inne dane na temat połowy 2025 roku.