Model Routing

Design decisions for production LLM systems — routing, cost, guardrails, and multi-model orchestration. The layer between running models and building reliable AI applications.

Uruchamianie modelu o 70 miliardach parametrów w celu podsumowania 200-zdaniowego e-maila jest marnotrawstwem. Zastosowanie modelu o 3 miliardach parametrów do recenzji kodu produkcyjnego jest ryzykowne. Większość systemów znajduje się gdzieś w połowie tej skali – i właśnie tam przydaje się routing modeli.