Inwestuj tokeny tam, gdzie naprawdę mają znaczenie.
Koszty LLM rosną liniowo wraz ze wzrostem wykorzystania. System przetwarzający 10 000 zapytań dziennie po cenie 0,01 USD za zapytanie kosztuje 100 USD dziennie — co daje 365 USD rocznie. W skali przedsiębiorczej kwota ta przekracza 10 000 USD.
Odpowiedni model do odpowiedniego zadania.
Uruchamianie modelu o 70 miliardach parametrów w celu podsumowania 200-zdaniowego e-maila jest marnotrawstwem. Zastosowanie modelu o 3 miliardach parametrów do recenzji kodu produkcyjnego jest ryzykowne. Większość systemów znajduje się gdzieś w połowie tej skali – i właśnie tam przydaje się routing modeli.
