llama.cpp の CLI とサーバーを使用したクイックスタート
「OpenCode のインストール、設定、および使用方法」
llama.cpp(https://www.glukhov.org/ja/llm-hosting/llama-cpp/ “llama.cpp”)はローカルでの推論に最適です。Ollamaや他のツールが抽象化しているコントロールを提供し、簡単に動作します。llama-cliを使用してGGUFモデルをインタラクティブに実行したり、llama-serverを使用してOpenAIと互換性のあるHTTP APIを公開したりするのが簡単です。