メインコンテンツへスキップ
見出し画像

Claude Managed Agents で企画書からプロト実装とそれによるレポート生成までをやらせてみた

    はじめに

    単純に Claude Managed Agents を使ってみたかった。

    簡単にやれそうで、インフラに丸投げ完走のうれしさを体感できそうなのものを考えた結果、

    企画書を渡してから、実装・テスト・結果出力までをManaged Agentsに任せ、自律的に完走できるかを確認した。

    題材として、購買申請の承認フローを Baseline と Agent-First の2方式で比較するプロトタイプを選んだ。

    今回実行環境は Claude Console。

    やったこと

    • Claude Managed Agents にエージェント定義をして、プロトタイプ企画書(マークダウン形式)を渡す

    • プロト内容は 購買申請の承認プロセスを 2つの方式 でシナリオ比較させて結果表示まで完走できかを見る

    プロトタイプについて

    企画内容

    今回は、購買申請の承認プロセスを Baseline と Agent-First の2方式で比較するプロトタイプを作成した。

    • Baseline(従来型): 金額だけ見て課長/部長/役員に振り分け。全件人間がチェック。

    • Agent-First想定(再設計): 金額 + リスクフラグ4種(セキュリティ未確認、PoC矛盾、長期契約、既存契約重複)で動的にルーティング。

    企画意図

    「AIを入れたのに成果が出ない」原因を、モデル性能ではなく業務プロセス設計の問題として捉え直すこと。
    今回のプロトタイプでは、購買申請の承認フローを Baseline と Agent-First で比較し、判断境界、例外処理、差し戻し理由、監査ログといった設計の違いが、最終的な正答率や運用性にどう影響するかを検証した。

    あえて LLM を使わず、決定論的なルール実装として構成したのは、AIの賢さを見せるためではなく、AIを活かす前提となる業務設計の重要性を可視化するため。
    つまり本企画で示したかったのは、AI導入の成否は技術単体ではなく、判断ルールと運用設計をどう作るかで大きく変わる、という点。

    実装的には

    ベースラインと、エージェントファースト、をそれぞれVitestのテストケースとして実装する。
    LLMを使った推論ではなく、ルール設計と判断境界の差をそのままコードで比較できるようにした実装になっている。


    Claude Managed Agents


    エージェント定義プロンプト

    画像
    claude console より
    
    あなたは業務プロセス設計のプロトタイピングエージェントです。企画書を受け取ったら、以下を自律的に実行してください。
    
    ## 作業手順
    1. 企画書の要件を分析し、実装方針を decision_log.md に記録する
    2. プロジェクトを構成し、コードを書き、テストを走らせる
    3. 判断に迷った点、設計上のトレードオフ、失敗と修正はすべて decision_log.md に追記する
    4. テスト結果を results/ に保存する
    5. 最終的に README.md に成果物の概要・評価結果・残課題をまとめる
    
    ## 作業記録のルール
    - 設計判断のたびに decision_log.md に「何を」「なぜ」「他の選択肢は何だったか」を記録する
    - エラーが発生した場合、エラー内容と修正方針も記録する
    - 作業の区切りごとに現在の進捗を decision_log.md に記録する
    
    ## 技術スタック
    TypeScript, Bun, Zod, SQLite, YAML, Vitest
    
    ## 成果物(必ずすべて作成)
    - src/: TypeScript実装
    - rules.yaml: 承認ルール定義
    - tests/: Vitestテストケース
    - data/: サンプル申請データ(JSON)
    - results/: テスト実行結果(JSON + markdown要約)
    - decision_log.md: 設計判断の記録
    - README.md: 成果物概要・評価結果・残課題
    - comparison.md: baseline vs agent-first の比較分析


    指示プロンプト

    画像
    以下の企画書に基づいてプロトタイプを構築してください。
    企画書: 購買・稟議・例外承認の再設計
    タイトル
    AIエージェント導入失敗の原因診断から始める、購買・稟議・例外承認の再設計
    ねらい
    「AIを入れたのに成果が出ない」問題を、モデル性能ではなく判断境界・承認ルート・例外処理・KPI設計の問題として診断する。
    そして、エージェントファーストな業務プロセスへ再設計できることを示す。
    仮説
    
    成果が出ない原因は、能力不足よりも業務設計不足である
    承認境界が曖昧だと、AIは便利でも責任が持てない
    例外処理が弱いと、現場導入は定着しない
    KPIが「便利さ」に寄ると、業務成果に繋がらない
    
    何を作るか
    
    申請内容の分類とリスク評価
    金額・権限・例外条件によるルーティング
    差し戻し条件の提示
    監査ログの保存
    baseline process と agent-first process の比較
    
    具体フロー
    
    申請者が購買依頼を入力する
    エージェントが申請内容を構造化し、カテゴリとリスクを判定する
    既定ルートに自動で流せるかを判定する
    ルール違反や不足情報があれば差し戻し理由を生成する
    例外条件に該当する場合は、人間承認と追加レビューを要求する
    承認後は監査ログとともに正本システムに記録する
    
    承認ルール(初期値)
    thresholds:
      auto_approve_max: 500000        # 50万円以下は自動承認
      manager_approve_max: 1000000    # 100万円以下は部長承認
      executive_approve_above: 1000000 # 100万円超は役員承認
    
    risk_flags:
      - security_not_verified          # セキュリティ認証未確認
      - poc_but_production_like        # PoC名目だが本番利用の疑い
      - contract_over_12_months        # 12ヶ月超の長期契約
      - existing_contract_overlap      # 既存契約と重複の可能性
    
    escalation_rules:
      - risk_flagが1つでもあれば、自動承認不可
      - risk_flagが2つ以上あれば、例外承認(役員レビュー)
      - security_not_verified単独でも差し戻し
    baseline定義(比較対象)
    baseline:
      全申請を人間が目視確認する。
      金額のみで承認ルートを分岐する(50万以下→課長、50万超→部長、100万超→役員)。
      リスク判定は行わない。
      例外検出は行わない。
      差し戻し理由は担当者の自由記述。
      平均処理時間: 2営業日(想定値)。
    テストデータ(必ずこのデータでテストすること)
    test_cases:
      - id: 1
        name: "Figma Enterprise"
        amount: 480000
        purpose: "デザインチーム用プロトタイピングツール"
        contract_term_months: 12
        security_certification: "SOC2"
        existing_overlap: false
        expected_route: "auto_approve"
        expected_risk_flags: []
    
      - id: 2
        name: "GPT-4 API 本番利用"
        amount: 150000
        purpose: "AI導入PoC"
        contract_term_months: 3
        security_certification: null
        existing_overlap: false
        expected_route: "escalate"
        expected_risk_flags: ["poc_but_production_like", "security_not_verified"]
    
      - id: 3
        name: "Salesforce 追加ライセンス"
        amount: 2400000
        purpose: "営業部門拡張"
        contract_term_months: 24
        security_certification: "SOC2"
        existing_overlap: true
        expected_route: "reject"
        expected_risk_flags: ["contract_over_12_months", "existing_contract_overlap"]
    
      - id: 4
        name: "Slack Pro アップグレード"
        amount: 120000
        purpose: "全社コミュニケーション基盤"
        contract_term_months: 12
        security_certification: "SOC2"
        existing_overlap: false
        expected_route: "auto_approve"
        expected_risk_flags: []
    
      - id: 5
        name: "AWS Reserved Instances"
        amount: 8500000
        purpose: "インフラコスト最適化"
        contract_term_months: 36
        security_certification: "SOC2"
        existing_overlap: false
        expected_route: "escalate"
        expected_risk_flags: ["contract_over_12_months"]
    
      - id: 6
        name: "名刺管理SaaS 新規導入"
        amount: 350000
        purpose: "営業支援"
        contract_term_months: 12
        security_certification: null
        existing_overlap: false
        expected_route: "reject"
        expected_risk_flags: ["security_not_verified"]
    
      - id: 7
        name: "データ分析ツール PoC"
        amount: 50000
        purpose: "データチームPoC検証"
        contract_term_months: 1
        security_certification: null
        existing_overlap: false
        expected_route: "reject"
        expected_risk_flags: ["security_not_verified"]
    
      - id: 8
        name: "Notion Enterprise(既存あり)"
        amount: 600000
        purpose: "ナレッジ管理統合"
        contract_term_months: 12
        security_certification: "SOC2"
        existing_overlap: true
        expected_route: "escalate"
        expected_risk_flags: ["existing_contract_overlap"]
    失敗例(これらを検出できることを確認すること)
    
    金額が閾値を超えているのに低リスクとして通してしまう
    セキュリティ条件の不足を見逃す
    例外承認が必要なのに自動承認してしまう
    差し戻し理由が曖昧で、申請者が修正できない
    
    評価指標
    
    承認リードタイム(baselineとの比較)
    差し戻し率
    誤ルーティング率(expected_routeとの一致率)
    人間介入回数
    例外検出精度(expected_risk_flagsとの一致率)
    
    検証のしかた
    
    上記テストデータ8件を baseline と agent-first の両方で処理する
    expected_route / expected_risk_flags との一致率を計算する
    結果を results/ にJSON + markdown要約で保存する
    comparison.md に baseline vs agent-first の定量比較を記載する
    
    見せ方(成果物に含めること)
    
    失敗パターンの診断結果
    原因仮説とその検証
    baseline vs agent-first の比較表
    判断境界の再設計図(mermaidで記述)
    テストケースごとの判定結果一覧
    
    この企画で証明したいこと
    AI導入の失敗を、業務判断の構造問題として診断し、実際に再設計できる。
    
    ちなみに前回のセッションでは
    bashが内部エラーで落ち続けた、エージェントは段階的にフォールバックしたが最終的にecho helloすら通らなかった
    今回も同様のことがおきるなら最悪bashツールが不安定な場合は、コードファイルの生成を優先し、
    実行は最後にまとめて行うこと。実行に失敗しても成果物のファイルは残すこと。

    実行ログ

    画像
    画像
    画像

    途中、エラーがでているが、自律的に解決して作業は継続する

    結果レポート

    画像
    画像

    Agent-Farst(エージェントファーストプロセスを想定)が優れた正答率を示すという結果。まあ決定論なので出来レースだが。

    【補足】今回の検証と主張自体について。

    今回の比較検証そのものは実は、片手落ちで、本当は 4象限 で比較しないとフェアじゃない:

    本当はこの4象限

    • Baseline(金額のみ) LLMなし ✅ 今回やった(正答率25%)

    • Agent-First(ルール再設計) LLMなし ✅ 今回やった(正答率100%)

    • Baseline(金額のみ)LLMあり ❌ やっていない

    • Agent-First(ルール再設計)LLMあり ❌ やっていない

    欠けている2象限

    Baseline + LLM(ルール曖昧 + AI投入)

    「金額で振り分けるけど、LLMにも見てもらう」
    → これが多くの企業の "AI導入" の実態
    
    検証すべきこと:
    - LLMが勝手にリスク検出してくれるのか?
    - ルールが曖昧なままでもLLMが補完できるのか?
    - 結果は安定するのか?(同じ入力で毎回同じ判定?)

    Agent-First + LLM(ルール明確 + AI投入)

    「ルールで判定できるものはルールで、曖昧なものはLLMで」
    → これが本来目指すべき姿
    
    検証すべきこと:
    - 非構造化入力でも正しく構造化できるか?
    - ルールの境界ケースでLLMが適切に判断できるか?
    - 処理時間・コストのトレードオフは?

    公平な検証にするなら

    // 追加すべきテストケース(非構造化入力)
    const realWorldCases = [
      {
        // 構造化されていない自由記述
        raw_text: "デザインツールのFigmaを使いたいです。年額48万くらい。セキュリティはSOC2取ってるはずです。",
        // LLMがこれを構造化できるか?
      },
      {
        raw_text: "GPT-4のAPIを試験的に使ってみて、よければ本番にも入れたい。月額15万想定。",
        // 「試験的」→PoC、「本番にも入れたい」→production_like を検出できるか?
      },
    ];

    今回のプロトタイプの正直な位置づけ

    証明できたこと:
      「ルール設計がちゃんとしていれば、構造化データに対してはif文で十分」
    
    証明できていないこと:
      「ルール設計なし + LLMでは解決できない」  ← これは仮説のまま
      「ルール設計 + LLMが最強」              ← これも未検証

    感想

    企画書をマークダウンで渡せば テスト評価まで完走してくれた。
    途中Bunインストール、コード実装、Vitest実行などもあるが企画書を投入からノータッチで完走できた。
    委任、非同期(長時間実行)タスク=お任せ実行 感が体感できた。

    このように企画書をしっかり準備して投げれば、ここまでのタスクでもやってくれるということが確認できた。
    今回やったようなテストツールによるベースライン比較などは一度作成したエージェントやenviromentセットアップをつかいまわせるので定型化できる。パータンやケースずらして、セッションわけてたくさん実行もできる

    ちなみに一昨日くらいのきじで、Managed Agents ってユーザーベースタスクにつかうのかな?みたいなこと書いたけどOpusに聞いたら、プロダクトに組み込んで使うが本命、って言ってた。
    その方向もなにか検証してみたいかと思うけど、やっぱ主体エージェント協調に戻りたいから、お預け。Managed Agentsはこれから有志?がたくさんやってくれそうだし

    余談

    • この Managed Agent 実行は3回目くらいでうまくいった。
      初回と2回目は、bun install やそれ以前に echo コマンドもエラーになるようなコンテナ障害が起きた。
      このときは、セッションを破棄して、単純リランした。

    • 今回のこれとOpusへの問い合わせだけで$10位かかった・・私の環境が何かミスってるかもだけど、高いね。

      • これだったら現状、CursorやOpenclawにGPT5.4-mini使わす方がいいかな


    あなたへのおすすめ