見出し画像

Azure AI Foundry Agent Service における組み込み型 AgentOps ツールの紹介

daka | Microsoft | AI

AgentOpsは非常に重要なので以下を見ていく。


エージェントインテリジェンスの新時代

Azure AI Foundry Agent Service で「トレース」「評価」「監視」機能のパブリックプレビューが開始されました。
これらは、AIエージェントの構築・デバッグ・最適化の方法を一新する機能です。

  • 詳細なトレース

  • カスタマイズ可能な評価

  • 開発者が求めていた可観測性とパフォーマンス改善の橋渡し

シンプルなチャットボットから複雑なマルチエージェントシステムまで対応できるツールです。

AgentOpsのユニークな特徴

AgentOpsは、AI開発者が直面する課題に対し、他にない機能を提供します。
主なコア機能は2つです。

1. 統合型トレース機能

AgentOps では、エージェントの実行をフルでトレースできます。
これにより、エージェントがどのようにクエリを処理し、ツールを利用し、意思決定を行うかを詳細に把握できます。

  • 実行パスの可視化
    エージェントの推論と意思決定プロセスを、複数エージェントを含むワークフロー全体で視覚化できます。

  • パフォーマンス監視
    タイムスタンプやレイテンシ、トークン消費量を追跡し、ボトルネックや最適化ポイントを特定できます。

  • ツール呼び出しログ
    ファイル検索やBing Search、コードインタープリタ、OpenAPIなど、各種ツールの成功・失敗や実行時間を記録します。

  • 詳細なリクエスト／レスポンスログ
    すべてのインタラクションやアクティビティスレッドごとに、粒度の高いログへアクセスでき、精度の高いデバッグが可能です。

2. 高度な評価フレームワーク

AgentOpsは、トレースだけでなく評価の側面も強化しています。
内蔵やカスタマイズ可能な指標で、エージェントの挙動を評価・改善できます。

  • パフォーマンス評価
    レイテンシー、トークン消費、リクエストログ、ツール呼び出し効率などを、各アクティビティスレッドのステップごとに計測できます。

  • 品質評価
    インテント解決、一貫性、流暢さ、正確性など、アウトプットの品質をチェックします。

  • 安全性評価
    ヘイトスピーチ、間接的な攻撃、コードの脆弱性など、リスクのある応答を特定します。

Agentic ワークフローの評価

Agent Evaluation with Azure AI Evaluation SDK - Azure AI Foundry | Microsoft Learn

3. Azure AI Foundry Agent Service の監視

Azure Monitor による継続的な監視・評価も可能です。
下記のようなメトリクスがAzure PortalのHubsやProjectsで利用できます（Foundry Developer Platformにも近日追加予定です）。

  • IndexedFiles
    ワークスペース内でファイル検索用にインデックスされたファイル数
    ディメンション: "ErrorCode", "Status", "VectorStoreId"

  • Agents
    ワークスペース内のAIエージェントイベントの件数
    ディメンション: "EventType"

  • Messages
    ワークスペース内のAIエージェントメッセージイベントの件数
    ディメンション: "EventType", "ThreadId"

  • Runs
    ワークスペース内のAIエージェントによる実行数
    ディメンション: "AgentId", "RunStatus", "StatusCode", "StreamType"

  • Threads
    ワークスペース内のAIエージェントスレッドイベントの件数
    ディメンション: "EventType"

  • ToolCalls
    ワークスペース内でAIエージェントが行ったツール呼び出しの件数
    ディメンション: "AgentId", "ToolName"

  • Tokens
    ワークスペース内のAIエージェントによるトークン消費量
    ディメンション: "AgentId", "TokenType"

これらの監視メトリクスにより、エージェントワークフローの可視性と運用上の洞察が深まり、強力な分析・最適化が実現できます。
また、Azure AI Foundry Observabilityを活用することで、運用中のエージェントを継続的に評価・監視することが可能です。

シームレスな統合

AgentOpsは、既存のワークフローやツールにシームレスに統合できます。
SDKやポータル、Weights & Biasesなどのサードパーティ可観測性ツールにも対応しています。

  • Azure AI Foundry

  • OpenTelemetry

  • カスタムパイプライン

など、多様なAIエコシステムに柔軟に適応し、最小限のセットアップですぐにトレースや評価を開始できます。

なぜAgentOpsが重要なのか

AgentOpsは、AI開発者が直面する主な課題を解決します。

  • デバッグの複雑さの解消
    エンドツーエンドで実行状況が可視化され、エラー検出・解決が簡単になります。

  • 効率的なチューニング
    ボトルネックを特定してコストパフォーマンスを最適化できます。

  • 信頼性の構築
    品質や安全性の評価によって、エージェントの信頼性と説明性を向上させます。

次にやるべきこと

いいなと思ったら応援しよう！