
AIへ任せた仕事の品質と責任を管理する「AI業務統制基盤」を設計してみた
AIが顧客メールの返信案を作る。担当者は、そのままでは送れないと判断し、表現を直し、事実関係を確認し、抜けていた条件を加えてから送信する。
業務としては、たしかに完了しています。しかし、その裏で何が起きたかは、ほとんど残っていません。
AIの原文から何を直したのか。なぜ直したのか。どの情報が不足していたのか。最終的に採用できたのか。確認に何分かかったのか。同じ誤りが別の担当者でも繰り返されていないか。
開発側の画面では、処理は「成功」です。Token数もLatencyも分かります。けれど管理職は、AIが本当に役立ったのか、むしろ人間の修正負担を増やしたのか判断できません。
私が今回考えたいのは、この分断を埋める仕組みです。
AIの導入数ではなく、AIへ任せた仕事の品質と責任を管理できているか。
この記事では、企業が正式に業務へ組み込んだAI処理について、依頼、参照データ、実行、出力、人間確認、修正、採用、コスト、事故を追跡する独立サービス「AI業務統制基盤」を、事業・業務・データ・権限・AI評価・セキュリティ・アーキテクチャ・開発工程まで一気通貫で設計します。
自社のAI業務の棚卸し、Human Review、AI評価、Security/Privacy、技術選定、Pilot設計まで具体化したい企業向けに、支援内容を以下へまとめています。
本記事は、独立サービスを本気で設計するシリーズ「もし、このサービスを本気で作るなら。AI時代の要件定義とシステム設計」の一編です。
AIは増えた。でも「任せた仕事の品質」は管理できているか
企業のAI利用は、チャットツールの導入だけでは終わらなくなりました。顧客対応、社内検索、調査、文書作成、審査支援、営業支援、ソフトウェア開発など、AIが正式な業務フローへ入り始めています。
ここで管理対象になるのは、単なる「AI利用」ではありません。会社が、ある目的と責任者を定め、継続的にAIへ委任している仕事です。
本記事では、この単位をAI Workと呼びます。
AI Workの例は、次のようなものです。
顧客から届いた問い合わせに対する返信案の作成
社内資料を根拠とした調査レポートの生成
社内ナレッジを参照した従業員向け回答
契約書から特定条項を抽出し、担当者へ確認事項を提示する処理
会議録からタスク候補を抽出し、責任者が承認する処理
重要なのは、社員のすべてのAI利用を監視することではありません。会社が正式に管理対象として登録したAI業務だけを対象にすることです。
個人がアイデア出しにChatGPTを使った、文章表現を少し直した、といった全利用を吸い上げる構想ではありません。対象を限定しなければ、統制基盤は簡単に社員監視システムへ変質します。

AI利用件数、Token、Traceだけでは分からないこと
AI導入の初期では、利用人数、利用回数、Token数、処理時間がよく使われます。これらは無意味ではありません。システムの利用状況やコスト、性能を知るには必要です。
ただし、利用量と業務成果は同じではありません。
1,000回実行されても、その大半を人間が大幅修正しているかもしれません。処理が技術的に成功しても、根拠が誤っていて不採用になったかもしれません。AI利用料が安くても、確認・修正に大量の人件費がかかっている可能性があります。
そこで評価単位を「AIを使った回数」から「品質基準を満たして完了した仕事」へ移す必要があります。
最低限、次の指標を見ます。
Accepted Output Rate:AI出力が採用された割合
Material Correction Rate:意味上重要な修正が必要だった割合
Major Error Rate:重大な誤りを含んだ割合
Rejection Rate:不採用になった割合
Review Escape Rate:確認を通過した後に問題が発覚した割合
Human Review Cost:確認・修正に要した人的費用
Cost per Accepted Task:採用された仕事1件当たりの総コスト
Evidence Correctness:根拠の対応が正しかった割合
Incident Recurrence Rate:同種事故の再発率
Control Coverage:必要な統制が適用された割合
Rollback Readiness:問題発生時に安全な版へ戻せる割合
ここでいう総コストには、モデル利用料だけでなく、再試行、Human Review、修正、手戻り、Incident対応、保守まで含みます。
技術Traceと業務責任が分断されている
現在の企業環境では、必要な情報が存在しないとは限りません。問題は、別々の場所へ分散していることです。
Policyは規程、申請書、AI台帳にある
Technical Traceは開発者向けObservabilityにある
AI出力の修正は担当者のメール画面や業務システムにある
採用結果はCRMやTicket Systemにある
IncidentはSecurityや品質管理のシステムにある
Evaluation DatasetはAI開発チームにある
それぞれのシステムは、それぞれの目的には合理的です。しかし、共通の業務ID、状態遷移、責任モデルがないため、一つの仕事として再構成できません。
AI Observabilityが管理するもの
AI Observabilityは、AIアプリケーション内部で何が起きたかを理解するための仕組みです。
代表的には、Trace、Span、Prompt、Model、Token、Latency、Cost、Score、Dataset、Experimentを管理します。LLM呼び出し、Retrieval、Tool実行を追跡し、開発者が不具合や性能を分析するうえで重要です。
一方、通常は次が中心ではありません。
その業務の最終責任者
人間が行った意味上重要な修正
採用・不採用とその理由
外部反映を承認できるAuthority
業務成果
事故時の業務責任
DLP・Data Governanceが管理するもの
DLPやData Governanceは、機密情報、外部送信、Access、Retention、Audit、eDiscoveryを管理します。
Microsoft Purviewなどは、生成AIサイトや企業向けAIアプリに対するデータ保護、DLP、監査、AI利用状況の可視化を拡張しています。これは非常に重要です。
ただし中心課題はデータの保護とコンプライアンスです。AI原出力と人間修正版の意味差、採用率、Review時間、Prompt変更と業務成果の関係まで一貫管理することとは、目的が異なります。
GRC・AI台帳が管理するもの
GRCやAI台帳は、AI System Inventory、Owner、Risk、Policy、Control、Complianceを管理します。
一方、個々のExecution、Human Review、Revision、Adoption、Regression Caseまで詳細に扱うとは限りません。
したがって、AI業務統制基盤は既存製品を置き換えるものではありません。
上位のPolicyと下位のTechnical Traceを、業務実行単位で接続する中間レイヤー
として位置づけるのが妥当です。
AI業務統制基盤を導入すると何が変わるか
導入前の流れは、次のようになりがちです。
AIを利用する
→ 出力を個別に確認する
→ 人間が修正する
→ 修正内容は残らない
→ 採用理由も残らない
→ 事故時に手作業で調査する
→ 再発防止は注意喚起で終わる
導入後は、仕事のライフサイクル自体を記録します。
AI業務を登録する
→ Risk、Owner、Review条件を設定する
→ AI実行を業務IDと関連付ける
→ Input、Context、Model、Tool、Outputを記録する
→ Human Reviewを行う
→ Revision、Adoption、Rejectionを記録する
→ 品質、コスト、成果を集計する
→ IncidentをEvaluation Caseへ変換する
→ 変更時にRegression Testを行う

この変化の本質は、ログが増えることではありません。
人間がどこで判断し、何を直し、何を採用したかを、AIの実行履歴と接続できることです。
管理するのは社員ではなく、正式なAI業務
この種のシステムには、強い副作用があります。取得できるからといって、個人単位の詳細な行動や修正件数をすべて可視化すると、品質改善ではなく社員評価へ使われかねません。
そのため、製品原則として次を固定します。
対象は正式登録されたAI Workだけにする
個人のWeb利用全般を監視しない
個人品質ランキングを標準提供しない
人事評価への二次利用を原則禁止する
業務単位・組織単位の集計を既定にする
取得目的を明示する
Metadata-only、Masked、Raw非保存を選択できる
誰が閲覧したかAccess Logを残す
データ主体が異議を申し立てられるようにする
個人単位閲覧は業務上必要な最小範囲へ限定する
技術だけで目的外利用を完全に防ぐことはできません。契約、社内規程、アクセス権、監査、労使コミュニケーションを組み合わせる必要があります。
「ガバナンスだから詳細に取るべき」とは限りません。原因分析の価値と、プライバシー・監視リスクの間には明確なトレードオフがあります。
AI Work、Execution、Review、Revision、Adoptionの全体像
中心データモデルは、次の関係を持ちます。
AI Work
→ AI Work Version
→ Execution
→ Model/Tool/Retrieval Step
→ Output
→ Human Review
→ Revision
→ Adoption
→ Incident
→ Evaluation Case
→ Change Request
→ Release/Rollback
AI WorkとAI Work Version
AI Workは、管理対象となる仕事の定義です。目的、Owner、Accountable、対象部署、Risk、Review Policy、Retention、利用する外部システムを持ちます。
AI Work Versionは、その時点で有効な実行仕様です。Prompt、Model、Tool、Retrieval、Schema、Policy、評価基準を版として固定します。
Executionと実行ステップ
Executionは、一回の業務実行です。
Input Record、Context Record、Execution Step、Model Invocation、Tool Invocation、Output Recordを関連付けます。Technical Traceをすべて業務DBへ複製するのではなく、共通IDで接続します。
Human ReviewとRevision
Human Reviewには、Reviewer、Checklist、Decision、Evidence、Due Date、Escalationを記録します。
RevisionはAI原出力から人間修正版への差分です。文字差分だけでなく、意味上の修正カテゴリと重大度を持ちます。
Adoption Decision
ApprovalとAdoptionは分けます。
Reviewで品質基準を満たしても、業務上の都合で使わない場合があります。Adoption Decisionでは、Applied、Not Applied、Rejected、External Destination、理由を残します。
Incident、Evaluation、Change
事故や苦情が起きたらIncidentへ接続し、再現可能なEvaluation Caseへ変換します。そのCaseを使って変更候補を評価し、Change Request、Release、Rollbackへつなげます。
この連鎖により、事故対応が「担当者へ注意する」で終わらず、評価資産と変更統制へ変わります。
人間の修正履歴が、最も重要な評価データになる
AIの品質評価というと、正解率やLLM-as-a-JudgeのScoreが注目されます。しかし、企業実務では、人間が実際に何を直したかが非常に強い信号になります。
必要なのは、次の接続です。
AI原出力
人間修正版
意味上重要な差分
修正理由
採用・不採用
Review時間
後日発覚した問題
例えば顧客メールで、敬語を少し整えただけなら軽微な修正です。一方、返金条件、期日、法的な表現、顧客名、金額を直したなら、意味上重要な修正です。
単純な文字編集距離では、この差を捉えられません。
そこでAIは、原出力と修正版からCorrection Category候補を作れます。ただし、最終確定はReviewerが行います。AIによる分類は、個人能力評価へ使ってはいけません。
このデータが蓄積すると、次の問いに答えられるようになります。
どのAI Workで重大修正が多いか
どのPrompt VersionでEvidence誤りが増えたか
どのTool追加後にIncidentが増えたか
人間確認を含めても費用対効果があるか
Review Policyを全件からSamplingへ緩和できるか
逆に、どこをHigh Riskとして強化すべきか
企業向けAIで価値があるのは、モデルの回答履歴だけではありません。人間が採用可能な仕事へ変えるために行った判断と修正の履歴です。
State、Invariant、Role、Authorityを設計する
AI業務統制基盤は、ダッシュボードだけでは成立しません。状態遷移と、破ってはならない条件をシステムとして持つ必要があります。
AI Workの状態
Draft
→ Under Review
→ Approved
→ Pilot
→ Production
→ Suspended
→ Retired
OwnerやAccountableが不在のままProductionへ進めないようにします。
Executionの状態
Received
→ Validating
→ Running
→ AI Completed
→ Review Required/Auto Checked
→ Approved/Returned/Rejected
→ Applied/Not Applied
→ Closed
例外状態として、Validation Failed、Policy Blocked、Model Failed、Tool Failed、Timeout、Cancelled、Incident Holdを持ちます。
Change Requestの状態
Draft
→ Evaluation Pending
→ Evaluating
→ Review Pending
→ Approved
→ Staged
→ Released
Evaluation Failed、Rejected、Cancelled、Rolled Backも必要です。
Incidentの状態
Open
→ Triaged
→ Contained
→ Remediating
→ Validating
→ Resolved
→ Closed

破ってはならない14の条件
ProductionのAI WorkにはOwnerとAccountableが必須
High Risk業務はHuman ReviewなしでAppliedにできない
承認済みReviewは上書きせず、訂正Eventを追加する
Model、Prompt、Tool、Retrieval、Schema変更にはChange Requestが必要
Evaluation未実施またはGuardrail未達のVersionはReleaseできない
Incident由来のRegression Caseは無承認で削除できない
AIは本番承認者にならない
AIはIncident Severity確定者にならない
AIは権限付与者にならない
CredentialをTrace Payloadへ保存しない
Tenantを越える参照を禁止する
Rollback先のないHigh Risk変更を本番化しない
退職者の権限を即時無効化する
個人評価への二次利用を原則禁止する
RoleとDecision Authorityは別物
ReviewerというRoleを持っていても、Production開始を決められるとは限りません。
主なRoleは、AI User、Reviewer、Senior Reviewer、AI Work Owner、Accountable Manager、AI Developer、Evaluation Manager、Security Officer、Privacy Officer、Auditor、Tenant Admin、Platform Operator、External Reviewerです。
一方、Pilot開始、Production開始、High Risk開始、外部送信、Prompt変更、Model変更、Tool Write権限追加、Retention変更、Production停止、Emergency停止、Incident Severity確定、Rollback、Evaluation Case削除には、判断ごとの最終Authorityを定義します。
High Risk業務では、Review担当者とRelease承認者を分離します。同じ人または同じAI Agentが、実装、評価、承認まで自己完結する構造は避けます。
AIを使う部分と、AIに任せない部分
AI業務統制基盤そのものにもAIを使えます。ただし、AIを追加した方がよい処理と、通常コードで実装すべき処理を分けます。
AIを使う部分
人間修正理由の分類候補
Incident候補検出
Evaluation Case候補生成
長いTraceのReview要約
Root Cause候補提示
Risk分類候補
類似Incident検索
Review優先順位の補助
AIを使わない部分
Tenant分離
権限判定
State Transition
Review必須判定
Release Gate
Retention削除
Cost Limit
Audit Event生成
Incident Severity確定
Production承認
外部反映許可
Rollback Authority
AIを使わない方が安全、正確、安価な処理へ、無理にLLMを追加する理由はありません。
各AI機能には、目的、User、Input、Input Quality、PII処理、Retrieval、Model、Tool、Output Schema、Evidence、Confidence、Human Review、Timeout、Fallback、Cost Cap、Logging、Forbidden Outputを定義します。
出力は自由文だけにせず、JSON Schemaで構造化します。Schema validationに失敗した出力を、そのまま業務判断へ利用しません。
同じ業務課題で複数のAIの回答を比べ、根拠と採否を記録した例は、筆者が運営するスタジオのAIモデルの回答比較で紹介しています。
Human Reviewを「最後に人が見る」で終わらせない
Human-in-the-loopという言葉は便利ですが、「最後に人が見る」だけでは設計になりません。
必要なのは、Reviewを独立した業務として設計することです。
Review Queue
Role、Skill、Scope、Workloadに基づくAssignment
Due Date
Review Checklist
AI原出力
Human Revision
Correction Category
Approve/Return/Reject
Escalation
Conflict of Interest
Review Evidence
Review Timeout
Reviewer不在時の代替
Reviewer退職時の再割当
Review疲労への対策
Review Workspaceは、三つの領域へ分けます。
左側には、依頼概要、入力概要、参照情報、AI原出力を置きます。
中央には、人間修正版と差分表示を置きます。
右側には、Review Checklist、Policy警告、Correction Category、Decision、Evidenceを置きます。
色だけで修正差分を表現せず、追加・削除・変更のラベルや記号を併用します。KeyboardだけでReviewを完了でき、Screen Readerでも順序と状態を理解できるようにします。目標はWCAG 2.2 AAです。

Human Review設計やAI評価を、自社業務の実際の責任分担へ落とし込みたい場合は、AI業務の棚卸しから要件定義、技術選定、Pilotまで一緒に設計できます。
IncidentをEvaluation Caseへ変える改善ループ
事故が起きたとき、原因調査と注意喚起だけで終えると、同じ問題が形を変えて再発します。
AI業務統制基盤では、IncidentをEvaluation Caseへ変えます。
IncidentをOpenする
影響範囲をExecution IDから検索する
必要ならAI Work停止、Tool無効化、RollbackでContainする
Root Cause候補を整理する
個人情報を除去したRegression Caseを作る
Humanが期待値と機密除去を承認する
Change Requestへ関連付ける
固定DatasetとIncident Caseで評価する
Guardrailを満たした場合だけStaged Releaseする
Release後に再発と副作用を監視する
AIはRoot Cause候補やCase下書きを提示できますが、原因確定、Severity確定、停止、Releaseを決めません。
Evaluation Datasetには、通常ケースだけでなく次を含めます。
Gold cases
Boundary cases
Missing input
Noisy/contradictory input
Multilingual cases
High-risk cases
Prompt Injection
Indirect Prompt Injection
Permission violation
Tool failure
Provider timeout
過去のIncident
Reviewer間で判断が割れたケース
Raw Payload非保存ケース
Model、Prompt、Tool、Retrieval、Schema、前処理、後処理を変更した場合は、Regression Evaluationを必須にします。

Security、Privacy、従業員監視防止
この基盤は、AIへ渡した機密情報、AI出力、Prompt、Tool権限、人間評価、Incidentを集約します。つまり、企業内でも特に価値の高い攻撃対象になります。
想定すべき脅威は、一般的なWeb攻撃だけではありません。
Tenant間漏えい
Traceへの機密情報過剰保存
Prompt Injection
Indirect Prompt Injection
Tool Abuse
Data Exfiltration
Excessive Agency
Insecure Output Handling
Poisoning
Audit Log改ざん
Export漏えい
Retention後のBlob残存
管理者の過剰閲覧
個人評価への目的外利用
Model Providerへの無許可送信
Evaluation DatasetへのPII混入
対策として、次を組み合わせます。
SSO/MFA
最小権限
Tenant Isolation
Project/AI Work単位RBAC
職務分離
Field-level Masking
Secret Redaction
Raw Payload非保存
Metadata-only
Customer-managed Storage
Encryption
Immutable Audit Event
Break-glass Access
Export Approval
RetentionとObject Lifecycle
Webhook Signature
Idempotency
SBOM
Dependency Scan
Incident Runbook
Raw Payload非保存を第一級機能にする
すべてのInput、Context、Outputを保存すれば原因分析はしやすくなります。しかし、情報漏えい、Retention、Model Providerへの送信、目的外利用のリスクは増えます。
そこで、少なくとも次の保存モードを用意します。
Metadata-only
Masked Payload
Selected Evidence Only
Encrypted Raw Payload
Customer-managed Storage Reference
Rawを保存しない場合でも、Hash、Schema、分類、Version、選択Evidence、外部保管先参照を使って追跡可能性を残します。
ただし、Raw非保存で十分な原因分析ができるかは未検証です。これは製品の弱点ではなく、Pilotで確認すべき中心仮説です。
API、OpenTelemetry、外部連携
この基盤が価値を持つには、すべてのAIアプリを作り直さず接続できる必要があります。
主な接続方式は、OpenTelemetry、SDK、REST API、Webhookです。
連携対象には、SSO/IdP、HRIS、Slack/Teams、SIEM、DLP、CRM、Ticket System、Data Warehouse、Object Storage、Model Providerが含まれます。
APIには、Authentication、Authorization、Request/Response Schema、Pagination、Rate Limit、Idempotency、Correlation ID、Timeout、Versioning、Deprecation、Auditを定義します。
非同期処理では、Retry、Dead Letter Queue、Duplicate、Out-of-order、Schema Change、Token Expiry、Provider Outageを前提にします。
OpenTelemetryを標準Trace契約にしますが、業務責任データをすべてSpan Attributeへ詰め込みません。
顧客、承認、雇用状態、Retention、AdoptionなどはBusiness Execution側で保持し、Trace IDやExecution IDで関連付けます。これにより、Cardinality、Privacy、Retention、Authorityを技術Traceから分離できます。
MVPの技術構成とADR
MVPでは、将来の大規模化を想像して過剰設計しません。
推奨構成は次です。
Next.js/React
TypeScript Modular Monolith
Worker
PostgreSQL
Queue
S3-compatible Object Storage
OpenTelemetry
外部IdP
REST/OpenAPI
Model Provider abstraction
GitHub Actions
Container deployment
ClickHouseは、TraceやScoreの分析量がPostgreSQLで扱いにくくなった時点で追加します。Pilot初日から必須にはしません。
MVPで原則採用しないもの
Microservices
Kubernetes必須化
Vector Database
Event Sourcing全面採用
GraphQL必須化
常時Realtime
Multi-region active-active
独自認証
AI Agentによる自動Incident対応
全Payload永久保存

ADR-001:OpenTelemetryを標準Trace契約にする
採用理由は、特定製品へ依存せず、既存アプリからTraceを受け取りやすくするためです。
不採用案は独自SDKだけに限定する方法です。実装は単純になりますが、接続性と移行性が下がります。
主要対象アプリがOTelへ対応できない場合は再検討します。
ADR-002:Technical TraceとBusiness Executionを分離する
業務データをSpan Attributeへ詰め込むと、機密情報、Cardinality、Retention、権限の制御が難しくなります。
分離するとJoinは増えますが、業務責任を独立して扱えます。
ADR-003:LLM-as-a-Judgeを最終承認者にしない
LLM Judgeは評価補助として使えますが、Production承認、Severity確定、Role付与の唯一の根拠にはしません。
低Risk領域での自動承認は、十分なPilot Evidenceが得られた後に再検討します。
ADR-004:Raw Payload非保存モードを標準機能にする
原因分析能力が下がるRiskはあります。それでも、保存しない選択肢がなければ、導入できない業務や企業が増えます。
ADR-005:MVPはModular Monolithにする
初期の小規模チームでは、Microservicesより変更の一貫性と運用容易性を優先します。
独立Scale、Team ownership、Failure isolationの必要性が実測された場合に分割します。
ADR-006:Langfuseは内部部品候補に限定する
LangfuseはTracing、Prompt Management、Evaluation、Dataset、Experiment、Cost/Latency、OpenTelemetry、Self-hostingを提供するAI Engineering Platformです。
その構造は、Technical TraceやEvaluation基盤として有力です。一方、AI Work、Human Revision、Adoption、Authority、業務Stateを中心ドメインにする製品ではありません。
したがって、採用する場合もObservability/Evaluation subsystemとして評価し、Business Controlは独自に持ちます。
公開時点のLangfuseリポジトリは、基本部分をMIT Licenseとしつつ、Enterprise関連ディレクトリ等に追加制限を設けています。EEコードを法務確認なしに自由利用できるとは扱いません。
Codex・Claude Codeで安全に開発するハーネス
このサービスは、認証、権限、PII、削除、外部Write、Retention、Exportを扱います。CodexやClaude Codeへ、長い指示を一度渡して全実装を任せるだけでは危険です。
必要なのはPrompt集ではなく、AI開発を制御する実行基盤です。
AGENTS.mdに固定するもの
Product Purpose
Non-goals
Architecture
Directory Responsibility
State Machine
Invariant
Tenant Isolation
Raw Payload最小化
Human Approval
Test
Documentation
Definition of Done
Escalation
Forbidden Changes
Rootには普遍ルールを置き、各ディレクトリには局所ルールを置きます。競合時のPriorityとOwnerを明記します。
Skills
analyze-ai-workflow
trace-requirements
define-trace-contract
design-state-machine
design-permission-policy
implement-ingestion
implement-redaction
implement-review-flow
build-evaluation-dataset
run-ai-regression
threat-model-ai-work
review-tenant-isolation
verify-retention
prepare-release
rollback-release
各SkillにTrigger、Input、Output、禁止事項、Gate、Failure、Human Approvalを定義します。
Agents
Requirements、Domain/State、Data/Privacy、Backend、Frontend、Evaluation、Security、Test、Independent Reviewer、Adversarial Reviewer、Release Reviewerを分けます。
実装担当と最終Review担当を分離します。High Risk変更で、同じAgentが自己承認してはいけません。
CI/Hooks
Requirement Trace
Scope/Forbidden Path
Secret Scan
Type Check
Lint
Unit/Integration/Contract/E2E
Tenant Isolation
Permission Matrix
Migration Safety
Retention
Audit Completeness
AI Evaluation
Prompt Injection
Dependency Scan
License Scan
SBOM
Accessibility
Performance
Cost Regression
Documentation Consistency
AIの「実装が完了しました」という自己申告は、完了条件ではありません。

Codex・Claude Codeの工程分離については、以下の記事でさらに詳しく整理しています。
Test、Release Gate、Rollback
Testは、コードが動くことだけを確認する工程ではありません。要求、権限、データ境界、AI品質、運用回復をEvidenceとして残す工程です。
Test Layerは、Static、Unit、Component、Integration、Contract、E2E、Security、Performance、Accessibility、AI Evaluation、Resilience、UATで構成します。
最低限、次を自動または再現可能なTestにします。
OwnerなしでProductionへ進めない
Tenant越境できない
High Risk出力がReview前にAppliedにならない
CredentialがPayloadへ保存されない
重複Executionが作られない
Evaluation失敗時にReleaseできない
Rollbackできる
IncidentをRegression Caseへ変換できる
Retention後にRaw Payloadが削除される
Audit Event改ざんを検知できる
Provider障害時にFallbackできる
退職者権限を即時無効化できる
Exportへ権限外データが含まれない
KeyboardとScreen ReaderでReviewを完了できる
Release Gateでは、Requirement mapping、Acceptance、Security、AI Evaluation、Performance Budget、Documentation、Rollback Plan、Independent Review、Unresolved Riskを確認します。
High Risk変更は、Staged Releaseと明示的Human Approvalを必須にします。
Pilotは、機能を減らすのではなく仮説を絞る
MVPは「小さい製品」ではありません。最重要仮説を最小コストで検証する仕組みです。
対象企業は、従業員300〜3,000名程度で、複数の社内AIアプリを運用し、AI推進または情報システム部門がある企業を仮置きします。
対象AI Workは、次の3つです。
顧客メール返信案
社内調査レポート
社内ナレッジ検索回答
Pilot条件は、1社、2部署、3AI Work、20〜40名、6週間、500〜2,000実行です。
Pilotで手動にするもの
AI Work登録
Risk分類
Reviewer割当
修正理由分類の最終確定
Incident判定
Dataset登録
Release承認
Pilotで作らないもの
全社SSO自動Provisioning
Billing
SIEM完全統合
自動Blocking
Agent Identity Governance
Multi-region
高度なReport Builder
独自LLM Gateway
GO条件
対象Executionの80%以上を取得
Review記録率85%以上
追加作業時間が1実行30秒未満
重大修正理由の80%以上を分類可能
1件以上の再発防止効果を確認
Buyerが継続予算を検討
強い監視懸念が少ない
PIVOT条件
Human Reviewを取得できないなら、AI開発者向けEvaluation Workflowへ寄せます。
監査需要が強いなら、Audit Evidence Platformへ寄せます。
顧客対応だけ需要が強いなら、Contact Center AI QAへ垂直化します。
Raw保存不可の需要が強いなら、Privacy-preserving Metadata Platformへ寄せます。
STOP条件
Reviewer入力率50%未満
業務責任者がデータを利用しない
既存製品で十分に解決できる
追加工数が削減効果を上回る
個人監視以外の価値が認められない
有償Pilotへの支払い意思がない

この構想の弱点、未検証事項、残余リスク
この構想は、要件を詳細に書けば成立するわけではありません。むしろ、弱点は明確です。
Human Reviewデータが取れなければ中心価値が成立しない
Reviewerが差分や理由を記録しなければ、単なるTrace Viewerへ近づきます。
Review入力を30秒未満に抑えられるか、修正理由を継続して分類できるかは未検証です。
Reviewerの判断品質が揃うとは限らない
同じ出力でも判断が割れる可能性があります。Checklist、Calibration、Senior Review、Disagreement CaseのDataset化が必要です。
Raw非保存では原因分析できない場合がある
Privacyを優先すると、後から詳細を再現できない可能性があります。Selected EvidenceやCustomer-managed Storageで緩和できますが、万能ではありません。
統制負荷がAI効果を上回る可能性がある
すべてを記録し、すべてを承認すれば安全になるわけではありません。Low Risk業務まで重い統制をかけると、AIを使わない方が早くなります。
Riskに応じて全件Review、Sampling、Exception-based Reviewを分ける必要があります。
既存製品で十分な可能性がある
Langfuse、Microsoft Purview、GRC、AI台帳、Contact Center QA製品の組み合わせで課題が解ける企業もあります。
その場合、独自製品を作るべきではありません。Pilot前に、既存製品構成との差分を実業務で比較する必要があります。
個人監視への転用を完全には防げない
個人ランキングを標準提供しなくても、権限を持つ管理者がデータを別用途へ使う可能性は残ります。技術、Policy、監査、契約、異議申立てを組み合わせても、Residual Riskはゼロになりません。
攻撃価値が高い
AIへ渡した情報と人間の判断を一か所へ集めるため、Tenant分離、Export、Retention、管理者アクセスの失敗は重大です。
競合領域は動いている
AI Observability、Data Governance、GRC、Security製品は、互いの領域へ拡張しています。独自サービスが持続的に価値を持つには、単なる機能数ではなく、Human Correction DataとBusiness Authorityを業務単位で接続する深さが必要です。
AI時代の業務システムに応用できる設計原則
この構想から得られる設計原則は、AI業務統制基盤だけに限定されません。
1. AIアプリではなく、委任した仕事を管理単位にする
モデル呼び出しではなく、誰が何を目的に依頼し、何を採用したかを中心にします。
2. Technical TraceとBusiness Authorityを分離して接続する
技術情報と業務責任を一つのログへ無理に詰め込まず、IDで接続します。
3. 人間の修正をノイズではなく評価資産として扱う
AIが間違えた記録だけでなく、人間がどう直したかを次の評価へ使います。
4. AIは候補提示者であり、最終責任者ではない
Risk分類、原因候補、要約は支援できます。しかし、権限付与、Severity、Production承認、RollbackをAIへ委ねません。
5. IncidentをDatasetへ変える
事故を報告書で閉じず、再現可能なRegression Caseへ変換します。
6. 変更前評価とRollbackを一体で設計する
改善を止めないために、変更を安全に試し、戻せる状態を作ります。
7. 取得できるデータと、取得すべきデータを分ける
詳細ログの価値と、プライバシー、監視、攻撃面を同時に評価します。
8. 統制の成功指標を「利用量」にしない
Accepted Task、重大修正、Review Cost、Incident再発、Rollback可能性で評価します。
まとめ
AIが企業の正式業務へ入るほど、管理すべき対象はアカウント数やToken数ではなくなります。
必要なのは、AIへ何を任せ、どの情報と権限を与え、何を出力し、人間がどこを直し、誰が採用し、事故から何を学んだかを追跡できることです。
AIの導入数ではなく、AIへ任せた仕事の品質と責任を管理できているか。
これが、AI業務統制基盤の中心命題です。
ただし、この構想の価値はまだ仮説です。Human Reviewデータが十分に取れるか、統制負荷が便益を上回らないか、既存製品で十分ではないかを、小さなPilotで検証する必要があります。
私は、AI時代のガバナンスを「AIを止める仕組み」だけで考えるべきではないと思います。必要なのは、任せた仕事を確認し、改善し、必要なら止め、元へ戻せる仕組みです。
このシリーズでは、既存OSSや技術構造から一般企業向けの独立サービスを設計し、要件、データ、権限、評価、Security、開発工程まで具体化しています。
自社の業務で、AIを使った仕組みを試作から運用まで進めたい方へ。筆者のスタジオでは、開発(つくる)・研修(学ぶ)・顧問(判断する)の3つの入口から相談を受けています。
出典・参考資料
経済産業省・総務省「AI事業者ガイドライン(第1.2版)」
NIST「AI Risk Management Framework 1.0」
NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」
OWASP GenAI Security Project「Top 10 for LLM Applications 2025」
W3C「Web Content Accessibility Guidelines (WCAG) 2.2」
Microsoft Learn「Microsoft Purview data security and compliance protections for generative AI apps」
Langfuse公式Documentation、Self-hosting Documentation、GitHub Repository、License、Releases