SGLang クイックスタート：OpenAI API を介して LLM のインストール、設定、およびサービス提供
SGLang を使ってオープンモデルを高速に提供。
SGLang は、大規模言語モデルおよびマルチモーダルモデル向けの高パフォーマンスなサービングフレームワークであり、単一の GPU から分散クラスターに至るまで、低レイテンシかつ高スループットの推論を提供するために設計されています。
Openai
llama.swap モデルスイッチャーのクイックスタート（OpenAI 互換ローカル LLM 向け）
クライアントを変更せずに、ローカル LLM をホットスワップします。
まもなく、vLLM や llama.cpp、さらに多くのスタックをそれぞれのポートで並行して管理することになるでしょう。しかし、下流のシステムはすべて単一の /v1 ベース URL を望みます。そうしないと、ポート、プロファイル、ワンオフスクリプトを絶えず整理し続ける羽目になります。llama-swap は、それらのスタックの前に置かれる /v1 プロキシです。
llama.cpp の CLI とサーバーを使用したクイックスタート
「OpenCode のインストール、設定、および使用方法」
llama.cpp（https://www.glukhov.org/ja/llm-hosting/llama-cpp/ “llama.cpp”）はローカルでの推論に最適です。Ollamaや他のツールが抽象化しているコントロールを提供し、簡単に動作します。llama-cliを使用してGGUFモデルをインタラクティブに実行したり、llama-serverを使用してOpenAIと互換性のあるHTTP APIを公開したりするのが簡単です。