LLM Architecture

A2AおよびMCPエージェントのセキュリティ:アイデンティティ、委任、および監査証跡

A2AおよびMCPエージェントのセキュリティ:アイデンティティ、委任、および監査証跡

プロトコルセキュリティはモデルではなく、誰が実行できるか(誰が操作を行えるか)を定義するものです。

LLMシステムにおけるセキュリティの関心は、プロンプトインジェクションに最も集中していますが、それは確かに注目を集めるべきものです。しかし、エージェントがツールを呼び出し、他のエージェントに作業を委任し始めると、それは問題の一部に過ぎなくなります。

LLMシステムのコスト最適化: コストが実際にどこに使われているか

LLMシステムのコスト最適化: コストが実際にどこに使われているか

トークンを本当に重要な箇所に使いましょう。

LLMのコストは使用量に比例して線形に増加します。1日に10,000件のリクエストを処理し、1件あたり$0.01のシステムの場合、日次コストは$100、年間コストは$365になります。エンタープライズ規模になると、コストは$10,000を超えます。

モデルルーティング:すべてに1つのモデルを使うことをやめよう

モデルルーティング:すべてに1つのモデルを使うことをやめよう

「正しいタスクに、正しいモデルを。」

700億パラメータのモデルで200語のメール要約を行うのは無駄です。30億パラメータのモデルで本番コードのレビューを行うのは無謀です。大多数のシステムは、これら2つの極端の間に位置しています。まさにそこが、モデルルーティングの出番です。

実践におけるLLMのガードレール:実際に有効な手法

実践におけるLLMのガードレール:実際に有効な手法

管理すべきはモデルではなく、リスクです。

LLM(大規模言語モデル)は予測不可能です。幻覚(ハルシネーション)を起こし、データを漏洩させ、有害なコンテンツを生成したり、正当なリクエストを拒否したりします。ガードレール(防護策)は、機能を損なわずにモデルの動作を制限します。