Llama-Server ルーターモード - リスタートなしでの動的なモデル切り替え
LLM を再起動せずに提供および切り替えを行います。
長らく、llama.cpp には目立つ制限がありました。
それは、プロセスあたり 1 つのモデルしか提供できず、モデルを切り替えるには再起動が必要だった点です。
Openai
SGLang クイックスタート：OpenAI API を介して LLM のインストール、設定、およびサービス提供
SGLang を使ってオープンモデルを高速に提供。
SGLang は、大規模言語モデルおよびマルチモーダルモデル向けの高パフォーマンスなサービングフレームワークであり、単一の GPU から分散クラスターに至るまで、低レイテンシかつ高スループットの推論を提供するために設計されています。
llama.swap モデル切り換え器の OpenAI 互換ローカル LLM 向けクイックスタート
クライアントを変更せずにホットスワップ可能なローカル LLM。
まもなく vLLM や llama.cpp など、それぞれのスタックが独自のポートで稼働している状態に陥ります。下流のシステムはすべて**/v1というベース URL を求めるため、ポート、プロファイル、ワンオフスクリプトを頻繁に変更することになります。llama-swapは、これらのスタックの前に配置される/v1**プロキシです。
llama.cpp の CLI とサーバーによるクイックスタート
OpenCode のインストール、設定、および使用方法
ローカル推論には、llama.cpp に戻って利用する機会が多いです。Ollama 他が抽象化して隠している部分を自分で制御できるだけでなく、すぐに動作するからです。GGUFモデルを llama-cli で対話的に実行したり、llama-server で OpenAI 互換の HTTP API を公開したりするのが簡単です。