Kontroluj ryzyko, a nie tylko model.
Modele językowe (LLM) są nieprzewidywalne. Halucynują, wyciekają dane, generują szkodliwe treści lub odrzucają legalne zapytania. Mechanizmy ochronne (guardrails) ograniczają zachowanie modelu bez utraty jego możliwości.
Inwestuj tokeny tam, gdzie naprawdę mają znaczenie.
Koszty LLM rosną liniowo wraz ze wzrostem wykorzystania. System przetwarzający 10 000 zapytań dziennie po cenie 0,01 USD za zapytanie kosztuje 100 USD dziennie — co daje 365 USD rocznie. W skali przedsiębiorczej kwota ta przekracza 10 000 USD.
Wybierz najprostszy wzorzec, który działa.
Systemy oparte na jednym modelu są proste. Systemy wielomodelowe są potężne. Wyzwanie nie polega na wyborze modeli – chodzi o zaprojektowanie architektury, która je koordynuje.
Odpowiedni model do odpowiedniego zadania.
Uruchamianie modelu o 70 miliardach parametrów w celu podsumowania 200-zdaniowego e-maila jest marnotrawstwem. Zastosowanie modelu o 3 miliardach parametrów do recenzji kodu produkcyjnego jest ryzykowne. Większość systemów znajduje się gdzieś w połowie tej skali – i właśnie tam przydaje się routing modeli.
