Bezpieczeństwo protokołu określa, kto może podejmować działania, a nie model.
Iniekcja promptów przyciąga większość uwagi w zakresie bezpieczeństwa systemów LLM i zasługuje na nią, ale nie jest jedynym problemem, gdy agenty zaczynają korzystać z narzędzi i delegować zadania innym agentom.
Kontroluj ryzyko, nie tylko model.
Modele językowe (LLM) są nieprzewidywalne. Mogą halucynować, wyciekać dane, generować szkodliwe treści lub odmawiać spełnienia legalnych żądań. Mechanizmy ochronne (guardrails) ograniczają zachowanie modelu, nie tracąc przy tym jego możliwości.
Inwestuj tokeny tam, gdzie naprawdę się liczą.
Koszty LLM rosną liniowo wraz z użyciem. System przetwarzający 10 000 zapytań dziennie po cenie 0,01 USD za zapytanie kosztuje 100 USD dziennie — czyli 365 USD rocznie. W skali przedsiębiorczej to ponad 10 000 USD.
Wybierz najprostszy działający wzorzec.
Systemy oparte na jednym modelu są proste. Systemy wielomodelowe są potężne. Wyzwanie nie polega na wyborze modeli – chodzi o zaprojektowanie architektury, która je koordynuje.
Odpowiedni model dla odpowiedniego zadania.
Uruchamianie modelu o 70 miliardach parametrów w celu podsumowania 200-znakowego e-maila jest marnotrawstwem. Zastosowanie modelu o 3 miliardach parametrów do recenzji kodu produkcyjnego jest bezmyślną ryzykownością. Większość systemów funkcjonuje gdzieś w tym spektrum – i tutaj z pomocą przychodzi routing modeli.
