メインコンテンツへスキップ
見出し画像

AIへ任せた仕事の品質と責任を管理する「AI業務統制基盤」を設計してみた

    AIが顧客メールの返信案を作る。担当者は、そのままでは送れないと判断し、表現を直し、事実関係を確認し、抜けていた条件を加えてから送信する。

    業務としては、たしかに完了しています。しかし、その裏で何が起きたかは、ほとんど残っていません。

    AIの原文から何を直したのか。なぜ直したのか。どの情報が不足していたのか。最終的に採用できたのか。確認に何分かかったのか。同じ誤りが別の担当者でも繰り返されていないか。

    開発側の画面では、処理は「成功」です。Token数もLatencyも分かります。けれど管理職は、AIが本当に役立ったのか、むしろ人間の修正負担を増やしたのか判断できません。

    私が今回考えたいのは、この分断を埋める仕組みです。

    AIの導入数ではなく、AIへ任せた仕事の品質と責任を管理できているか。

    この記事では、企業が正式に業務へ組み込んだAI処理について、依頼、参照データ、実行、出力、人間確認、修正、採用、コスト、事故を追跡する独立サービス「AI業務統制基盤」を、事業・業務・データ・権限・AI評価・セキュリティ・アーキテクチャ・開発工程まで一気通貫で設計します。

    自社のAI業務の棚卸し、Human Review、AI評価、Security/Privacy、技術選定、Pilot設計まで具体化したい企業向けに、支援内容を以下へまとめています。

    本記事は、独立サービスを本気で設計するシリーズ「もし、このサービスを本気で作るなら。AI時代の要件定義とシステム設計」の一編です。

    AIは増えた。でも「任せた仕事の品質」は管理できているか

    企業のAI利用は、チャットツールの導入だけでは終わらなくなりました。顧客対応、社内検索、調査、文書作成、審査支援、営業支援、ソフトウェア開発など、AIが正式な業務フローへ入り始めています。

    ここで管理対象になるのは、単なる「AI利用」ではありません。会社が、ある目的と責任者を定め、継続的にAIへ委任している仕事です。

    本記事では、この単位をAI Workと呼びます。

    AI Workの例は、次のようなものです。

    • 顧客から届いた問い合わせに対する返信案の作成

    • 社内資料を根拠とした調査レポートの生成

    • 社内ナレッジを参照した従業員向け回答

    • 契約書から特定条項を抽出し、担当者へ確認事項を提示する処理

    • 会議録からタスク候補を抽出し、責任者が承認する処理

    重要なのは、社員のすべてのAI利用を監視することではありません。会社が正式に管理対象として登録したAI業務だけを対象にすることです。

    個人がアイデア出しにChatGPTを使った、文章表現を少し直した、といった全利用を吸い上げる構想ではありません。対象を限定しなければ、統制基盤は簡単に社員監視システムへ変質します。

    画像

    AI利用件数、Token、Traceだけでは分からないこと

    AI導入の初期では、利用人数、利用回数、Token数、処理時間がよく使われます。これらは無意味ではありません。システムの利用状況やコスト、性能を知るには必要です。

    ただし、利用量と業務成果は同じではありません。

    1,000回実行されても、その大半を人間が大幅修正しているかもしれません。処理が技術的に成功しても、根拠が誤っていて不採用になったかもしれません。AI利用料が安くても、確認・修正に大量の人件費がかかっている可能性があります。

    そこで評価単位を「AIを使った回数」から「品質基準を満たして完了した仕事」へ移す必要があります。

    最低限、次の指標を見ます。

    • Accepted Output Rate:AI出力が採用された割合

    • Material Correction Rate:意味上重要な修正が必要だった割合

    • Major Error Rate:重大な誤りを含んだ割合

    • Rejection Rate:不採用になった割合

    • Review Escape Rate:確認を通過した後に問題が発覚した割合

    • Human Review Cost:確認・修正に要した人的費用

    • Cost per Accepted Task:採用された仕事1件当たりの総コスト

    • Evidence Correctness:根拠の対応が正しかった割合

    • Incident Recurrence Rate:同種事故の再発率

    • Control Coverage:必要な統制が適用された割合

    • Rollback Readiness:問題発生時に安全な版へ戻せる割合

    ここでいう総コストには、モデル利用料だけでなく、再試行、Human Review、修正、手戻り、Incident対応、保守まで含みます。

    技術Traceと業務責任が分断されている

    現在の企業環境では、必要な情報が存在しないとは限りません。問題は、別々の場所へ分散していることです。

    • Policyは規程、申請書、AI台帳にある

    • Technical Traceは開発者向けObservabilityにある

    • AI出力の修正は担当者のメール画面や業務システムにある

    • 採用結果はCRMやTicket Systemにある

    • IncidentはSecurityや品質管理のシステムにある

    • Evaluation DatasetはAI開発チームにある

    それぞれのシステムは、それぞれの目的には合理的です。しかし、共通の業務ID、状態遷移、責任モデルがないため、一つの仕事として再構成できません。

    AI Observabilityが管理するもの

    AI Observabilityは、AIアプリケーション内部で何が起きたかを理解するための仕組みです。

    代表的には、Trace、Span、Prompt、Model、Token、Latency、Cost、Score、Dataset、Experimentを管理します。LLM呼び出し、Retrieval、Tool実行を追跡し、開発者が不具合や性能を分析するうえで重要です。

    一方、通常は次が中心ではありません。

    • その業務の最終責任者

    • 人間が行った意味上重要な修正

    • 採用・不採用とその理由

    • 外部反映を承認できるAuthority

    • 業務成果

    • 事故時の業務責任

    DLP・Data Governanceが管理するもの

    DLPやData Governanceは、機密情報、外部送信、Access、Retention、Audit、eDiscoveryを管理します。

    Microsoft Purviewなどは、生成AIサイトや企業向けAIアプリに対するデータ保護、DLP、監査、AI利用状況の可視化を拡張しています。これは非常に重要です。

    ただし中心課題はデータの保護とコンプライアンスです。AI原出力と人間修正版の意味差、採用率、Review時間、Prompt変更と業務成果の関係まで一貫管理することとは、目的が異なります。

    GRC・AI台帳が管理するもの

    GRCやAI台帳は、AI System Inventory、Owner、Risk、Policy、Control、Complianceを管理します。

    一方、個々のExecution、Human Review、Revision、Adoption、Regression Caseまで詳細に扱うとは限りません。

    したがって、AI業務統制基盤は既存製品を置き換えるものではありません。

    上位のPolicyと下位のTechnical Traceを、業務実行単位で接続する中間レイヤー

    として位置づけるのが妥当です。

    AI業務統制基盤を導入すると何が変わるか

    導入前の流れは、次のようになりがちです。

    AIを利用する
    → 出力を個別に確認する
    → 人間が修正する
    → 修正内容は残らない
    → 採用理由も残らない
    → 事故時に手作業で調査する
    → 再発防止は注意喚起で終わる

    導入後は、仕事のライフサイクル自体を記録します。

    AI業務を登録する
    → Risk、Owner、Review条件を設定する
    → AI実行を業務IDと関連付ける
    → Input、Context、Model、Tool、Outputを記録する
    → Human Reviewを行う
    → Revision、Adoption、Rejectionを記録する
    → 品質、コスト、成果を集計する
    → IncidentをEvaluation Caseへ変換する
    → 変更時にRegression Testを行う

    画像

    この変化の本質は、ログが増えることではありません。

    人間がどこで判断し、何を直し、何を採用したかを、AIの実行履歴と接続できることです。

    管理するのは社員ではなく、正式なAI業務

    この種のシステムには、強い副作用があります。取得できるからといって、個人単位の詳細な行動や修正件数をすべて可視化すると、品質改善ではなく社員評価へ使われかねません。

    そのため、製品原則として次を固定します。

    • 対象は正式登録されたAI Workだけにする

    • 個人のWeb利用全般を監視しない

    • 個人品質ランキングを標準提供しない

    • 人事評価への二次利用を原則禁止する

    • 業務単位・組織単位の集計を既定にする

    • 取得目的を明示する

    • Metadata-only、Masked、Raw非保存を選択できる

    • 誰が閲覧したかAccess Logを残す

    • データ主体が異議を申し立てられるようにする

    • 個人単位閲覧は業務上必要な最小範囲へ限定する

    技術だけで目的外利用を完全に防ぐことはできません。契約、社内規程、アクセス権、監査、労使コミュニケーションを組み合わせる必要があります。

    「ガバナンスだから詳細に取るべき」とは限りません。原因分析の価値と、プライバシー・監視リスクの間には明確なトレードオフがあります。

    AI Work、Execution、Review、Revision、Adoptionの全体像

    中心データモデルは、次の関係を持ちます。

    AI Work
    → AI Work Version
    → Execution
    → Model/Tool/Retrieval Step
    → Output
    → Human Review
    → Revision
    → Adoption
    → Incident
    → Evaluation Case
    → Change Request
    → Release/Rollback

    AI WorkとAI Work Version

    AI Workは、管理対象となる仕事の定義です。目的、Owner、Accountable、対象部署、Risk、Review Policy、Retention、利用する外部システムを持ちます。

    AI Work Versionは、その時点で有効な実行仕様です。Prompt、Model、Tool、Retrieval、Schema、Policy、評価基準を版として固定します。

    Executionと実行ステップ

    Executionは、一回の業務実行です。

    Input Record、Context Record、Execution Step、Model Invocation、Tool Invocation、Output Recordを関連付けます。Technical Traceをすべて業務DBへ複製するのではなく、共通IDで接続します。

    Human ReviewとRevision

    Human Reviewには、Reviewer、Checklist、Decision、Evidence、Due Date、Escalationを記録します。

    RevisionはAI原出力から人間修正版への差分です。文字差分だけでなく、意味上の修正カテゴリと重大度を持ちます。

    Adoption Decision

    ApprovalとAdoptionは分けます。

    Reviewで品質基準を満たしても、業務上の都合で使わない場合があります。Adoption Decisionでは、Applied、Not Applied、Rejected、External Destination、理由を残します。

    Incident、Evaluation、Change

    事故や苦情が起きたらIncidentへ接続し、再現可能なEvaluation Caseへ変換します。そのCaseを使って変更候補を評価し、Change Request、Release、Rollbackへつなげます。

    この連鎖により、事故対応が「担当者へ注意する」で終わらず、評価資産と変更統制へ変わります。

    人間の修正履歴が、最も重要な評価データになる

    AIの品質評価というと、正解率やLLM-as-a-JudgeのScoreが注目されます。しかし、企業実務では、人間が実際に何を直したかが非常に強い信号になります。

    必要なのは、次の接続です。

    • AI原出力

    • 人間修正版

    • 意味上重要な差分

    • 修正理由

    • 採用・不採用

    • Review時間

    • 後日発覚した問題

    例えば顧客メールで、敬語を少し整えただけなら軽微な修正です。一方、返金条件、期日、法的な表現、顧客名、金額を直したなら、意味上重要な修正です。

    単純な文字編集距離では、この差を捉えられません。

    そこでAIは、原出力と修正版からCorrection Category候補を作れます。ただし、最終確定はReviewerが行います。AIによる分類は、個人能力評価へ使ってはいけません。

    このデータが蓄積すると、次の問いに答えられるようになります。

    • どのAI Workで重大修正が多いか

    • どのPrompt VersionでEvidence誤りが増えたか

    • どのTool追加後にIncidentが増えたか

    • 人間確認を含めても費用対効果があるか

    • Review Policyを全件からSamplingへ緩和できるか

    • 逆に、どこをHigh Riskとして強化すべきか

    企業向けAIで価値があるのは、モデルの回答履歴だけではありません。人間が採用可能な仕事へ変えるために行った判断と修正の履歴です。

    State、Invariant、Role、Authorityを設計する

    AI業務統制基盤は、ダッシュボードだけでは成立しません。状態遷移と、破ってはならない条件をシステムとして持つ必要があります。

    AI Workの状態

    Draft
    → Under Review
    → Approved
    → Pilot
    → Production
    → Suspended
    → Retired

    OwnerやAccountableが不在のままProductionへ進めないようにします。

    Executionの状態

    Received
    → Validating
    → Running
    → AI Completed
    → Review Required/Auto Checked
    → Approved/Returned/Rejected
    → Applied/Not Applied
    → Closed

    例外状態として、Validation Failed、Policy Blocked、Model Failed、Tool Failed、Timeout、Cancelled、Incident Holdを持ちます。

    Change Requestの状態

    Draft
    → Evaluation Pending
    → Evaluating
    → Review Pending
    → Approved
    → Staged
    → Released

    Evaluation Failed、Rejected、Cancelled、Rolled Backも必要です。

    Incidentの状態

    Open
    → Triaged
    → Contained
    → Remediating
    → Validating
    → Resolved
    → Closed

    画像

    破ってはならない14の条件

    1. ProductionのAI WorkにはOwnerとAccountableが必須

    2. High Risk業務はHuman ReviewなしでAppliedにできない

    3. 承認済みReviewは上書きせず、訂正Eventを追加する

    4. Model、Prompt、Tool、Retrieval、Schema変更にはChange Requestが必要

    5. Evaluation未実施またはGuardrail未達のVersionはReleaseできない

    6. Incident由来のRegression Caseは無承認で削除できない

    7. AIは本番承認者にならない

    8. AIはIncident Severity確定者にならない

    9. AIは権限付与者にならない

    10. CredentialをTrace Payloadへ保存しない

    11. Tenantを越える参照を禁止する

    12. Rollback先のないHigh Risk変更を本番化しない

    13. 退職者の権限を即時無効化する

    14. 個人評価への二次利用を原則禁止する

    RoleとDecision Authorityは別物

    ReviewerというRoleを持っていても、Production開始を決められるとは限りません。

    主なRoleは、AI User、Reviewer、Senior Reviewer、AI Work Owner、Accountable Manager、AI Developer、Evaluation Manager、Security Officer、Privacy Officer、Auditor、Tenant Admin、Platform Operator、External Reviewerです。

    一方、Pilot開始、Production開始、High Risk開始、外部送信、Prompt変更、Model変更、Tool Write権限追加、Retention変更、Production停止、Emergency停止、Incident Severity確定、Rollback、Evaluation Case削除には、判断ごとの最終Authorityを定義します。

    High Risk業務では、Review担当者とRelease承認者を分離します。同じ人または同じAI Agentが、実装、評価、承認まで自己完結する構造は避けます。

    AIを使う部分と、AIに任せない部分

    AI業務統制基盤そのものにもAIを使えます。ただし、AIを追加した方がよい処理と、通常コードで実装すべき処理を分けます。

    AIを使う部分

    • 人間修正理由の分類候補

    • Incident候補検出

    • Evaluation Case候補生成

    • 長いTraceのReview要約

    • Root Cause候補提示

    • Risk分類候補

    • 類似Incident検索

    • Review優先順位の補助

    AIを使わない部分

    • Tenant分離

    • 権限判定

    • State Transition

    • Review必須判定

    • Release Gate

    • Retention削除

    • Cost Limit

    • Audit Event生成

    • Incident Severity確定

    • Production承認

    • 外部反映許可

    • Rollback Authority

    AIを使わない方が安全、正確、安価な処理へ、無理にLLMを追加する理由はありません。

    各AI機能には、目的、User、Input、Input Quality、PII処理、Retrieval、Model、Tool、Output Schema、Evidence、Confidence、Human Review、Timeout、Fallback、Cost Cap、Logging、Forbidden Outputを定義します。

    出力は自由文だけにせず、JSON Schemaで構造化します。Schema validationに失敗した出力を、そのまま業務判断へ利用しません。

    同じ業務課題で複数のAIの回答を比べ、根拠と採否を記録した例は、筆者が運営するスタジオのAIモデルの回答比較で紹介しています。

    Human Reviewを「最後に人が見る」で終わらせない

    Human-in-the-loopという言葉は便利ですが、「最後に人が見る」だけでは設計になりません。

    必要なのは、Reviewを独立した業務として設計することです。

    • Review Queue

    • Role、Skill、Scope、Workloadに基づくAssignment

    • Due Date

    • Review Checklist

    • AI原出力

    • Human Revision

    • Correction Category

    • Approve/Return/Reject

    • Escalation

    • Conflict of Interest

    • Review Evidence

    • Review Timeout

    • Reviewer不在時の代替

    • Reviewer退職時の再割当

    • Review疲労への対策

    Review Workspaceは、三つの領域へ分けます。

    左側には、依頼概要、入力概要、参照情報、AI原出力を置きます。

    中央には、人間修正版と差分表示を置きます。

    右側には、Review Checklist、Policy警告、Correction Category、Decision、Evidenceを置きます。

    色だけで修正差分を表現せず、追加・削除・変更のラベルや記号を併用します。KeyboardだけでReviewを完了でき、Screen Readerでも順序と状態を理解できるようにします。目標はWCAG 2.2 AAです。

    画像

    Human Review設計やAI評価を、自社業務の実際の責任分担へ落とし込みたい場合は、AI業務の棚卸しから要件定義、技術選定、Pilotまで一緒に設計できます。

    IncidentをEvaluation Caseへ変える改善ループ

    事故が起きたとき、原因調査と注意喚起だけで終えると、同じ問題が形を変えて再発します。

    AI業務統制基盤では、IncidentをEvaluation Caseへ変えます。

    1. IncidentをOpenする

    2. 影響範囲をExecution IDから検索する

    3. 必要ならAI Work停止、Tool無効化、RollbackでContainする

    4. Root Cause候補を整理する

    5. 個人情報を除去したRegression Caseを作る

    6. Humanが期待値と機密除去を承認する

    7. Change Requestへ関連付ける

    8. 固定DatasetとIncident Caseで評価する

    9. Guardrailを満たした場合だけStaged Releaseする

    10. Release後に再発と副作用を監視する

    AIはRoot Cause候補やCase下書きを提示できますが、原因確定、Severity確定、停止、Releaseを決めません。

    Evaluation Datasetには、通常ケースだけでなく次を含めます。

    • Gold cases

    • Boundary cases

    • Missing input

    • Noisy/contradictory input

    • Multilingual cases

    • High-risk cases

    • Prompt Injection

    • Indirect Prompt Injection

    • Permission violation

    • Tool failure

    • Provider timeout

    • 過去のIncident

    • Reviewer間で判断が割れたケース

    • Raw Payload非保存ケース

    Model、Prompt、Tool、Retrieval、Schema、前処理、後処理を変更した場合は、Regression Evaluationを必須にします。

    画像

    Security、Privacy、従業員監視防止

    この基盤は、AIへ渡した機密情報、AI出力、Prompt、Tool権限、人間評価、Incidentを集約します。つまり、企業内でも特に価値の高い攻撃対象になります。

    想定すべき脅威は、一般的なWeb攻撃だけではありません。

    • Tenant間漏えい

    • Traceへの機密情報過剰保存

    • Prompt Injection

    • Indirect Prompt Injection

    • Tool Abuse

    • Data Exfiltration

    • Excessive Agency

    • Insecure Output Handling

    • Poisoning

    • Audit Log改ざん

    • Export漏えい

    • Retention後のBlob残存

    • 管理者の過剰閲覧

    • 個人評価への目的外利用

    • Model Providerへの無許可送信

    • Evaluation DatasetへのPII混入

    対策として、次を組み合わせます。

    • SSO/MFA

    • 最小権限

    • Tenant Isolation

    • Project/AI Work単位RBAC

    • 職務分離

    • Field-level Masking

    • Secret Redaction

    • Raw Payload非保存

    • Metadata-only

    • Customer-managed Storage

    • Encryption

    • Immutable Audit Event

    • Break-glass Access

    • Export Approval

    • RetentionとObject Lifecycle

    • Webhook Signature

    • Idempotency

    • SBOM

    • Dependency Scan

    • Incident Runbook

    Raw Payload非保存を第一級機能にする

    すべてのInput、Context、Outputを保存すれば原因分析はしやすくなります。しかし、情報漏えい、Retention、Model Providerへの送信、目的外利用のリスクは増えます。

    そこで、少なくとも次の保存モードを用意します。

    • Metadata-only

    • Masked Payload

    • Selected Evidence Only

    • Encrypted Raw Payload

    • Customer-managed Storage Reference

    Rawを保存しない場合でも、Hash、Schema、分類、Version、選択Evidence、外部保管先参照を使って追跡可能性を残します。

    ただし、Raw非保存で十分な原因分析ができるかは未検証です。これは製品の弱点ではなく、Pilotで確認すべき中心仮説です。

    API、OpenTelemetry、外部連携

    この基盤が価値を持つには、すべてのAIアプリを作り直さず接続できる必要があります。

    主な接続方式は、OpenTelemetry、SDK、REST API、Webhookです。

    連携対象には、SSO/IdP、HRIS、Slack/Teams、SIEM、DLP、CRM、Ticket System、Data Warehouse、Object Storage、Model Providerが含まれます。

    APIには、Authentication、Authorization、Request/Response Schema、Pagination、Rate Limit、Idempotency、Correlation ID、Timeout、Versioning、Deprecation、Auditを定義します。

    非同期処理では、Retry、Dead Letter Queue、Duplicate、Out-of-order、Schema Change、Token Expiry、Provider Outageを前提にします。

    OpenTelemetryを標準Trace契約にしますが、業務責任データをすべてSpan Attributeへ詰め込みません。

    顧客、承認、雇用状態、Retention、AdoptionなどはBusiness Execution側で保持し、Trace IDやExecution IDで関連付けます。これにより、Cardinality、Privacy、Retention、Authorityを技術Traceから分離できます。

    MVPの技術構成とADR

    MVPでは、将来の大規模化を想像して過剰設計しません。

    推奨構成は次です。

    • Next.js/React

    • TypeScript Modular Monolith

    • Worker

    • PostgreSQL

    • Queue

    • S3-compatible Object Storage

    • OpenTelemetry

    • 外部IdP

    • REST/OpenAPI

    • Model Provider abstraction

    • GitHub Actions

    • Container deployment

    ClickHouseは、TraceやScoreの分析量がPostgreSQLで扱いにくくなった時点で追加します。Pilot初日から必須にはしません。

    MVPで原則採用しないもの

    • Microservices

    • Kubernetes必須化

    • Vector Database

    • Event Sourcing全面採用

    • GraphQL必須化

    • 常時Realtime

    • Multi-region active-active

    • 独自認証

    • AI Agentによる自動Incident対応

    • 全Payload永久保存

    画像

    ADR-001:OpenTelemetryを標準Trace契約にする

    採用理由は、特定製品へ依存せず、既存アプリからTraceを受け取りやすくするためです。

    不採用案は独自SDKだけに限定する方法です。実装は単純になりますが、接続性と移行性が下がります。

    主要対象アプリがOTelへ対応できない場合は再検討します。

    ADR-002:Technical TraceとBusiness Executionを分離する

    業務データをSpan Attributeへ詰め込むと、機密情報、Cardinality、Retention、権限の制御が難しくなります。

    分離するとJoinは増えますが、業務責任を独立して扱えます。

    ADR-003:LLM-as-a-Judgeを最終承認者にしない

    LLM Judgeは評価補助として使えますが、Production承認、Severity確定、Role付与の唯一の根拠にはしません。

    低Risk領域での自動承認は、十分なPilot Evidenceが得られた後に再検討します。

    ADR-004:Raw Payload非保存モードを標準機能にする

    原因分析能力が下がるRiskはあります。それでも、保存しない選択肢がなければ、導入できない業務や企業が増えます。

    ADR-005:MVPはModular Monolithにする

    初期の小規模チームでは、Microservicesより変更の一貫性と運用容易性を優先します。

    独立Scale、Team ownership、Failure isolationの必要性が実測された場合に分割します。

    ADR-006:Langfuseは内部部品候補に限定する

    LangfuseはTracing、Prompt Management、Evaluation、Dataset、Experiment、Cost/Latency、OpenTelemetry、Self-hostingを提供するAI Engineering Platformです。

    その構造は、Technical TraceやEvaluation基盤として有力です。一方、AI Work、Human Revision、Adoption、Authority、業務Stateを中心ドメインにする製品ではありません。

    したがって、採用する場合もObservability/Evaluation subsystemとして評価し、Business Controlは独自に持ちます。

    公開時点のLangfuseリポジトリは、基本部分をMIT Licenseとしつつ、Enterprise関連ディレクトリ等に追加制限を設けています。EEコードを法務確認なしに自由利用できるとは扱いません。

    Codex・Claude Codeで安全に開発するハーネス

    このサービスは、認証、権限、PII、削除、外部Write、Retention、Exportを扱います。CodexやClaude Codeへ、長い指示を一度渡して全実装を任せるだけでは危険です。

    必要なのはPrompt集ではなく、AI開発を制御する実行基盤です。

    AGENTS.mdに固定するもの

    • Product Purpose

    • Non-goals

    • Architecture

    • Directory Responsibility

    • State Machine

    • Invariant

    • Tenant Isolation

    • Raw Payload最小化

    • Human Approval

    • Test

    • Documentation

    • Definition of Done

    • Escalation

    • Forbidden Changes

    Rootには普遍ルールを置き、各ディレクトリには局所ルールを置きます。競合時のPriorityとOwnerを明記します。

    Skills

    • analyze-ai-workflow

    • trace-requirements

    • define-trace-contract

    • design-state-machine

    • design-permission-policy

    • implement-ingestion

    • implement-redaction

    • implement-review-flow

    • build-evaluation-dataset

    • run-ai-regression

    • threat-model-ai-work

    • review-tenant-isolation

    • verify-retention

    • prepare-release

    • rollback-release

    各SkillにTrigger、Input、Output、禁止事項、Gate、Failure、Human Approvalを定義します。

    Agents

    Requirements、Domain/State、Data/Privacy、Backend、Frontend、Evaluation、Security、Test、Independent Reviewer、Adversarial Reviewer、Release Reviewerを分けます。

    実装担当と最終Review担当を分離します。High Risk変更で、同じAgentが自己承認してはいけません。

    CI/Hooks

    • Requirement Trace

    • Scope/Forbidden Path

    • Secret Scan

    • Type Check

    • Lint

    • Unit/Integration/Contract/E2E

    • Tenant Isolation

    • Permission Matrix

    • Migration Safety

    • Retention

    • Audit Completeness

    • AI Evaluation

    • Prompt Injection

    • Dependency Scan

    • License Scan

    • SBOM

    • Accessibility

    • Performance

    • Cost Regression

    • Documentation Consistency

    AIの「実装が完了しました」という自己申告は、完了条件ではありません。

    画像

    Codex・Claude Codeの工程分離については、以下の記事でさらに詳しく整理しています。

    Test、Release Gate、Rollback

    Testは、コードが動くことだけを確認する工程ではありません。要求、権限、データ境界、AI品質、運用回復をEvidenceとして残す工程です。

    Test Layerは、Static、Unit、Component、Integration、Contract、E2E、Security、Performance、Accessibility、AI Evaluation、Resilience、UATで構成します。

    最低限、次を自動または再現可能なTestにします。

    • OwnerなしでProductionへ進めない

    • Tenant越境できない

    • High Risk出力がReview前にAppliedにならない

    • CredentialがPayloadへ保存されない

    • 重複Executionが作られない

    • Evaluation失敗時にReleaseできない

    • Rollbackできる

    • IncidentをRegression Caseへ変換できる

    • Retention後にRaw Payloadが削除される

    • Audit Event改ざんを検知できる

    • Provider障害時にFallbackできる

    • 退職者権限を即時無効化できる

    • Exportへ権限外データが含まれない

    • KeyboardとScreen ReaderでReviewを完了できる

    Release Gateでは、Requirement mapping、Acceptance、Security、AI Evaluation、Performance Budget、Documentation、Rollback Plan、Independent Review、Unresolved Riskを確認します。

    High Risk変更は、Staged Releaseと明示的Human Approvalを必須にします。

    Pilotは、機能を減らすのではなく仮説を絞る

    MVPは「小さい製品」ではありません。最重要仮説を最小コストで検証する仕組みです。

    対象企業は、従業員300〜3,000名程度で、複数の社内AIアプリを運用し、AI推進または情報システム部門がある企業を仮置きします。

    対象AI Workは、次の3つです。

    1. 顧客メール返信案

    2. 社内調査レポート

    3. 社内ナレッジ検索回答

    Pilot条件は、1社、2部署、3AI Work、20〜40名、6週間、500〜2,000実行です。

    Pilotで手動にするもの

    • AI Work登録

    • Risk分類

    • Reviewer割当

    • 修正理由分類の最終確定

    • Incident判定

    • Dataset登録

    • Release承認

    Pilotで作らないもの

    • 全社SSO自動Provisioning

    • Billing

    • SIEM完全統合

    • 自動Blocking

    • Agent Identity Governance

    • Multi-region

    • 高度なReport Builder

    • 独自LLM Gateway

    GO条件

    • 対象Executionの80%以上を取得

    • Review記録率85%以上

    • 追加作業時間が1実行30秒未満

    • 重大修正理由の80%以上を分類可能

    • 1件以上の再発防止効果を確認

    • Buyerが継続予算を検討

    • 強い監視懸念が少ない

    PIVOT条件

    Human Reviewを取得できないなら、AI開発者向けEvaluation Workflowへ寄せます。

    監査需要が強いなら、Audit Evidence Platformへ寄せます。

    顧客対応だけ需要が強いなら、Contact Center AI QAへ垂直化します。

    Raw保存不可の需要が強いなら、Privacy-preserving Metadata Platformへ寄せます。

    STOP条件

    • Reviewer入力率50%未満

    • 業務責任者がデータを利用しない

    • 既存製品で十分に解決できる

    • 追加工数が削減効果を上回る

    • 個人監視以外の価値が認められない

    • 有償Pilotへの支払い意思がない

    画像

    この構想の弱点、未検証事項、残余リスク

    この構想は、要件を詳細に書けば成立するわけではありません。むしろ、弱点は明確です。

    Human Reviewデータが取れなければ中心価値が成立しない

    Reviewerが差分や理由を記録しなければ、単なるTrace Viewerへ近づきます。

    Review入力を30秒未満に抑えられるか、修正理由を継続して分類できるかは未検証です。

    Reviewerの判断品質が揃うとは限らない

    同じ出力でも判断が割れる可能性があります。Checklist、Calibration、Senior Review、Disagreement CaseのDataset化が必要です。

    Raw非保存では原因分析できない場合がある

    Privacyを優先すると、後から詳細を再現できない可能性があります。Selected EvidenceやCustomer-managed Storageで緩和できますが、万能ではありません。

    統制負荷がAI効果を上回る可能性がある

    すべてを記録し、すべてを承認すれば安全になるわけではありません。Low Risk業務まで重い統制をかけると、AIを使わない方が早くなります。

    Riskに応じて全件Review、Sampling、Exception-based Reviewを分ける必要があります。

    既存製品で十分な可能性がある

    Langfuse、Microsoft Purview、GRC、AI台帳、Contact Center QA製品の組み合わせで課題が解ける企業もあります。

    その場合、独自製品を作るべきではありません。Pilot前に、既存製品構成との差分を実業務で比較する必要があります。

    個人監視への転用を完全には防げない

    個人ランキングを標準提供しなくても、権限を持つ管理者がデータを別用途へ使う可能性は残ります。技術、Policy、監査、契約、異議申立てを組み合わせても、Residual Riskはゼロになりません。

    攻撃価値が高い

    AIへ渡した情報と人間の判断を一か所へ集めるため、Tenant分離、Export、Retention、管理者アクセスの失敗は重大です。

    競合領域は動いている

    AI Observability、Data Governance、GRC、Security製品は、互いの領域へ拡張しています。独自サービスが持続的に価値を持つには、単なる機能数ではなく、Human Correction DataとBusiness Authorityを業務単位で接続する深さが必要です。

    AI時代の業務システムに応用できる設計原則

    この構想から得られる設計原則は、AI業務統制基盤だけに限定されません。

    1. AIアプリではなく、委任した仕事を管理単位にする

    モデル呼び出しではなく、誰が何を目的に依頼し、何を採用したかを中心にします。

    2. Technical TraceとBusiness Authorityを分離して接続する

    技術情報と業務責任を一つのログへ無理に詰め込まず、IDで接続します。

    3. 人間の修正をノイズではなく評価資産として扱う

    AIが間違えた記録だけでなく、人間がどう直したかを次の評価へ使います。

    4. AIは候補提示者であり、最終責任者ではない

    Risk分類、原因候補、要約は支援できます。しかし、権限付与、Severity、Production承認、RollbackをAIへ委ねません。

    5. IncidentをDatasetへ変える

    事故を報告書で閉じず、再現可能なRegression Caseへ変換します。

    6. 変更前評価とRollbackを一体で設計する

    改善を止めないために、変更を安全に試し、戻せる状態を作ります。

    7. 取得できるデータと、取得すべきデータを分ける

    詳細ログの価値と、プライバシー、監視、攻撃面を同時に評価します。

    8. 統制の成功指標を「利用量」にしない

    Accepted Task、重大修正、Review Cost、Incident再発、Rollback可能性で評価します。

    まとめ

    AIが企業の正式業務へ入るほど、管理すべき対象はアカウント数やToken数ではなくなります。

    必要なのは、AIへ何を任せ、どの情報と権限を与え、何を出力し、人間がどこを直し、誰が採用し、事故から何を学んだかを追跡できることです。

    AIの導入数ではなく、AIへ任せた仕事の品質と責任を管理できているか。

    これが、AI業務統制基盤の中心命題です。

    ただし、この構想の価値はまだ仮説です。Human Reviewデータが十分に取れるか、統制負荷が便益を上回らないか、既存製品で十分ではないかを、小さなPilotで検証する必要があります。

    私は、AI時代のガバナンスを「AIを止める仕組み」だけで考えるべきではないと思います。必要なのは、任せた仕事を確認し、改善し、必要なら止め、元へ戻せる仕組みです。

    このシリーズでは、既存OSSや技術構造から一般企業向けの独立サービスを設計し、要件、データ、権限、評価、Security、開発工程まで具体化しています。

    自社の業務で、AIを使った仕組みを試作から運用まで進めたい方へ。筆者のスタジオでは、開発(つくる)・研修(学ぶ)・顧問(判断する)の3つの入口から相談を受けています。


    出典・参考資料

    • 経済産業省・総務省「AI事業者ガイドライン(第1.2版)」

    • NIST「AI Risk Management Framework 1.0」

    • NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」

    • OWASP GenAI Security Project「Top 10 for LLM Applications 2025」

    • W3C「Web Content Accessibility Guidelines (WCAG) 2.2」

    • Microsoft Learn「Microsoft Purview data security and compliance protections for generative AI apps」

    • Langfuse公式Documentation、Self-hosting Documentation、GitHub Repository、License、Releases


    あなたへのおすすめ