LLM

Otwartoźródłowe frameworki agentów AI zyskują na popularności na GitHubie w tempie wybuchowym. Dwa projekty lyingce w centrum ekosystemu samodzielnie hostowanych systemów AI — OpenClaw i Hermes Agent — wyprzedziły resztę pola tak daleko, że pozostali uczestnicy rywalizują o odległe trzecie miejsce.

Przetestowałem wydajność spekulacyjnego dekodowania (Wieloznakowego Przewidywania, MTP) w modelach Qwen 3.6 27B i 35B na karcie RTX 4080 z 16 GB pamięci VRAM.

Tryb routera w llama.cpp to jedna z najbardziej przydatnych zmian wprowadzonych do llama-server w ciągu ostatnich lat. Wreszcie daje lokalnym operatorom modeli LLM coś w rodzaju zarządzania modelami, do którego są przyzwyczajeni z Ollama, jednocześnie zachowując surową wydajność i kontrolę na niskim poziomie, która sprawia, że warto korzystać z llama.cpp w pierwszej kolejności.

Premisa jest prosta: skompilowana wiedza jest bardziej ponownie wykorzystywalna niż pobrane fragmenty. RAG stał się domyślną odpowiedzią na proste pytanie – jak zapewnić LLM dostęp do zewnętrznej wiedzy?

Większość tutoriali dotyczących „strukturyzowanego wyjścia” (structured output) w LLM jest nieodpowiedzialna. Uczą, jak grzecznie poprosić o JSON, a potem liczą, że model zachowa się poprawnie. To nie jest walidacja. To optymizm z nawiasami klamrowymi.

Ta strona stanowi praktyczny przewodnik do dostrajania wnioskowania agenticznego LLM (temperatura, top_p, top_k, kary i ich wzajemne oddziaływania w wieloetapowych przepływach pracy oraz w scenariuszach intensywnie wykorzystujących narzędzia).

Już teraz rozmawiasz z agentem Hermes przez telefon za pomocą wiadomości tekstowych. Teraz chcesz rozmawiać z nim bezpośrednio i otrzymywać odpowiedzi w formie mowy. Zazwyczaj jest to słuszny krok, zwłaszcza jeśli już korzystasz z Hermesa jako trwałego, lokalnie hostowanego asystenta. Pisanie długich promptów na małym ekranie jest powolne i podatne na błędy.

Hermes Agent dostarcza tablicę w stylu Kanban oraz Hermes Gateway, które mogą przytłoczyć Twoją własną samohostowaną LLM, jeśli jednocześnie zostanie uruchomionych zbyt wiele zadań.

Hermes Agent traktuje umiejętności (skills) jako domyślny sposób nauczania powtarzalnych procesów. Oficjalna dokumentacja opisuje je jako dokumenty wiedzy dostępne na żądanie, zgodne z otwartym schematem agentskills.io, ładowanymi poprzez stopniową ekspozycję (progressive disclosure), dzięki czemu model widzi najpierw mały indeks i pobiera pełne instrukcje dopiero wtedy, gdy zadanie ich faktycznie wymaga.

Hermes Agent od Nous Research to agnostyczny względem modelu asystent wykorzystujący narzędzia, który można uruchamiać lokalnie lub na serwerze VPS.

Większość stosów agentów AI nadal traktuje bezpieczeństwo jako poprawkę wprowadzaną po demonstracji. NemoClaw wychodzi z przeciwnej założenia i sprawia, że izolacja, polityki oraz routing są domyślnymi ustawieniami od pierwszego dnia.

Ten rozdział zbiera przewodniki dotyczące trwałej wiedzy i pamięci dla systemów AI — jak asystenci utrzymują fakty, preferencje i skondensowany kontekst między sesjami, bez wciskania każdego tokenu do jednego promptu. Tutaj „pamięć” oznacza świadome utrwalanie (faktów dotyczących użytkownika, streszczeń, baz danych wspieranych przez wtyczki), a nie pamięć GPU czy wag modelu.

Współczesne asystenty nadal zapominają wszystko po zamknięciu karty, chyba że dane są utrwalone poza oknem kontekstu. Dostawcy pamięci agentów to usługi lub biblioteki przechowujące fakty i streszczenia między sesjami – często integrowane jako wtyczki, dzięki czemu framework pozostaje lekki, a pamięć skalowalna.

Znasz to. Otwierasz czat z agentem AI, wyjaśniasz swój projekt, dzielisz się preferencjami, wykonujesz jakąś pracę i zamykasz kartę. Wracasz tydzień później i czujesz się, jakbyś rozmawiał z nieznajomym — cały kontekst zniknął, każda preferencja została zapomniana, a projekt trzeba tłumaczyć od nowa.

OpenClaw nie przegrał jako produkt. Po prostu wyczerpało się jego paliwo.

Przez długi czas llama.cpp miał rażącą wadę:
można było serwować tylko jeden model na proces, a jego zmiana wymagała restartu.