Self-Hosting

静的サイトやブログは、デプロイされるたびに内容が変化します。IndexNow をサポートする 検索エンジン なら、次の盲目的なクロール（blind crawl）を待たずに、その変更を即座に認識できます。

SGLang は、大規模言語モデルおよびマルチモーダルモデル向けの高パフォーマンスなサービングフレームワークであり、単一の GPU から分散クラスターに至るまで、低レイテンシかつ高スループットの推論を提供するために設計されています。

Apache Kafka 4.2.0 は現在のサポート対象リリースであり、Kafka 4.x は完全に ZooKeeper 不要化され、デフォルトで KRaft に基づいて構築されているため、モダンな Quickstart の最適な基準となります。

まもなく、vLLM や llama.cpp、さらに多くのスタックをそれぞれのポートで並行して管理することになるでしょう。しかし、下流のシステムはすべて単一の /v1 ベース URL を望みます。そうしないと、ポート、プロファイル、ワンオフスクリプトを絶えず整理し続ける羽目になります。llama-swap は、それらのスタックの前に置かれる /v1 プロキシです。

ほとんどのローカル AI 設定は、モデルとランタイムから始まります。

Oh My Opencode は「仮想 AI 開発チーム」を約束しています。Sisyphus が専門家を指揮し、タスクが並列で実行され、ultrawork という魔法のようなキーワードがそのすべてを活性化させます。

Oh My Opencode は、OpenCode をマルチエージェントコーディングハネスへと変えます。オーケストレーターは、並行して実行される専門エージェントに作業を委任します。

OpenCode が、ローカルでホストされているいくつかの Ollama LLM とどのように連携するかをテストしました。また比較のために、OpenCode Zen から Free モデルもいくつか追加しています。

OpenCode の最大の能力向上は、専門化されたエージェントによるものです：オーケストレーション、計画、実行、調査の意図的な分離です。

OpenHands は、AI 駆動のソフトウェア開発エージェントのためのオープンソースでモデル非依存のプラットフォームです。 単なる自動補完ツールではなく、エージェントがコーディングパートナーのように振る舞うことを可能にします。

LocalAI は、ご自身のハードウェア（ノート PC、ワークステーション、オンプレミスサーバー）上で AI ワークロードを実行できるように設計された、自己完結型でローカルファーストの推論サーバーです。これは、OpenAI API と互換性のある「差し替え可能な」APIとして動作します。

LLMの推論は「単なるAPI」のように見えるが、レイテンシーが急激に増加し、キューが再び詰まり、GPUが95％のメモリ使用率で動いていても明らかに原因が分からないという状況に陥るまでには至らない。

OpenClawは、OllamaなどのローカルLLMランタイムや、Claude Sonnetなどのクラウドベースのモデルを使用して動作する、セルフホスト型のAIアシスタントです。

AWS S3はオブジェクトストレージの「デフォルト」の基準であり、完全に管理されており、強い一貫性を持ち、非常に高い耐久性と可用性が設計されています。
GarageおよびMinIOは、自己ホスト型のS3互換の代替案: Garageは軽量で、地理的に分散された小規模から中規模のクラスター向けに設計されていますが、MinIOはS3 APIの幅広い機能カバレッジと、大規模な展開での高パフォーマンスを強調しています。

Garage は、小規模から中規模の展開に最適化された、オープンソースでセルフホスト可能な S3 互換のオブジェクトストレージシステムです。これは、高耐性と地理的分散性を強調しています。

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.