AI Coding

AIアシスタントのアーキテクチャ:LLM、メモリ、ツール、ルーティング、可観測性

AIアシスタントのアーキテクチャ:LLM、メモリ、ツール、ルーティング、可観測性

本格的なアシスタントは実際にどのように構築されているのか

本番環境向けのAIアシスタントは「プロンプト付きのLLM」ではありません。それは意図を受け取り、状態を保持し、いつ取得したり実行したりするかを決定し、障害のデバッグに必要なランタイムの詳細を公開するシステムです。

Pythonで堅牢なLLM構造化出力の検証

Pythonで堅牢なLLM構造化出力の検証

「雰囲気」に頼る解析をやめ、契約を検証せよ。

ほとんどのLLM「構造化出力」チュートリアルは、本気度にかけるものです。 それらは、JSONを丁寧な口調でリクエストし、モデルが適切に動作することを祈る方法を教えます。 それでは検証ではありません。 それは単に括弧で囲まれた楽観主義にすぎません。

QwenおよびGemmaにおけるエージェンティックLLM推論パラメータの参照

QwenおよびGemmaにおけるエージェンティックLLM推論パラメータの参照

エージェント型LLMのチューニングに関する参照資料

このページは、エージェント型LLM推論チューニングの実用的なリファレンス(temperature、top_p、top_k、ペナルティ、およびマルチステップやツール多用なワークフローにおけるそれらの相互作用)です。

より広範なLLMパフォーマンスエンジニアリングハブと併せて参照し、明確なLLMホスティングとサービングの概要と組み合わせることで、モデルがリソース不足に陥った際にはスループットとスケジューリングが依然として支配的ですが、不安定なサンプリングはGPUが処理を終える前にリトライと出力トークンを消費してしまうことがわかります。

このページでは以下をまとめます:

  • ベンダー推奨パラメータ
  • GGUFおよびAPIに組み込まれたデフォルト値
  • 実世界のコミュニティの知見
  • エージェント型ワークフローの最適化

現在、以下に焦点を当てています:

開発者向け Claude Skills と SKILL.md:VS Code、JetBrains、Cursor

開発者向け Claude Skills と SKILL.md:VS Code、JetBrains、Cursor

本番環境で耐えるClaude Skillsの構築

ほとんどのチームは、Claude Skillsの使い方を2つのいずれかの誤った方法で運用しています。SKILL.mdを単なるゴミ箱のように使っているか、巨大なプロンプトの切り貼りから抜け出せずにいるかのどちらかです。

Ollama、llama.cpp用のClaude Codeのインストールと設定、および料金

Ollama、llama.cpp用のClaude Codeのインストールと設定、および料金

ローカルモデルバックエンドに対応したエージェンティックコーディング

Claude Codeは、マーケティングが上手な自動補完ツールではありません。これはエージェント型コーディングツールです。コードベースを読み取り、ファイルを編集し、コマンドを実行し、開発ツールと統合します。

SGLang クイックスタート:OpenAI API を介して LLM のインストール、設定、およびサービス提供

SGLang クイックスタート:OpenAI API を介して LLM のインストール、設定、およびサービス提供

SGLang を使ってオープンモデルを高速に提供。

SGLang は、大規模言語モデルおよびマルチモーダルモデル向けの高パフォーマンスなサービングフレームワークであり、単一の GPU から分散クラスターに至るまで、低レイテンシかつ高スループットの推論を提供するために設計されています。

llama.swap モデル切り換え器の OpenAI 互換ローカル LLM 向けクイックスタート

llama.swap モデル切り換え器の OpenAI 互換ローカル LLM 向けクイックスタート

クライアントを変更せずにホットスワップ可能なローカル LLM。

まもなく vLLM や llama.cpp など、それぞれのスタックが独自のポートで稼働している状態に陥ります。下流のシステムはすべて**/v1というベース URL を求めるため、ポート、プロファイル、ワンオフスクリプトを頻繁に変更することになります。llama-swapは、これらのスタックの前に配置される/v1**プロキシです。