
アーキテクトはどこまでAIと組めるのか: 失敗の根っこテスト多すぎ問題
前回の内容はこちら。
アーキテクチャレビューをAIと組んで仕組み化するには、何をどうレビューすればよいかの構造整理を引き続き実施中です。
バックキャスティングで整理を進めていたら、「あれ、テスト関係の失敗要因、多すぎない?」と立ち止まりました。失敗原因の2割程度がテスト関連。これは偶然ではなさそうです。
本記事ではリアーキテクチャやリファクタリング、マイクロサービス化などの失敗の可能性のある要素を分析した結果をまとめて大きな重複感がないことを確認しました。
概念モデルの調整
前回まではしっくり来るモデルを見つけたところまででしたが、今回はモデルの中身の関係性と粒度感を確認します。
成功条件、リスク、原因の関係性が本当に妥当か
成功条件、阻害要因と根本原因のそれぞれの階層の項目同士で、大きな重複感がないように確認
項目の粒度が大きすぎて生成AIが的確に診断できない可能性がある場合は分割
逆に粒度が小さすぎて生成AIが的確に診断できない可能性がある場合は統合
出来上がったものを見るとだいぶ大きくなっています。

全体を参照したい場合はGithubでどうぞ。ただし英語。
日本語だとIT用語はいまいち取り回しが悪いのですよね。
作業の進め方
Miroのバックキャスティングマップを正しいものとして常にメンテナンス
成功条件 (Success Criteria) の一覧を文章的に定義
阻害要因 (Risk Factor) の一覧を文章的に定義
根本原因 (Root Cause) の一覧を文章的に定義
下の3つは整理目的のメモ書きとしました。
まだこの作業中はデータモデルが見えづらかったので、一旦文章での定義としました。
この時ChatGPTと私の役割分担ですが、私がMiroのメンテナンス、Miroから項目を抽出してリスト化、リストの項目を成功条件、阻害要因、根本原因に分けるのを担当。
次に成功条件を一つずつChatGPTに共有し (読み合わせ)、私のイメージとあるあるパターンを伝えてChatGPTに文章化してもらいました。
なぜPDFをそのままインプットとして使わないのか
理解の精度が文字+文章の方がはるかに高いからです。
PDFを読み取ってもらうと、各項目の文言と関係性は正しく把握する。
ただし、そこに表現されているものの意図が私の意図とずれるんです。
PDFだけで読み取れる情報
付箋に貼られた文字と付箋の色
凡例からその文字が成功条件、阻害要因、根本原因のどれに該当するか
どのフェーズに所属するものか
怪しい情報
付箋に書かれた文言の意図、正しい内容
線が重なっている部分で、どれとどれが繋がっているかの読み取りに問題が起きる
したがって、少なくとも付箋に書かれた文言の意図を書いておく必要があります。
現在の各項目の定義はこんな感じで記述されています。
## Integration testing strategy was not defined
- サブシステム間や外部連携を含む統合テストに関する戦略・設計・責任範囲が明確に定義されておらず、結合時に不整合が多数発覚
- 各開発チームが単体テストに集中し、**統合観点のテスト設計・実施・検証がプロジェクト全体として設計から漏れている**
- 結果として、**想定されていた相互動作が実現されず、後工程での手戻りや障害が多発**
## Vision was undefined or misaligned with architecture decisions
- プロジェクト開始時点で明確なビジョン(将来像・目的・価値仮説)が定義されておらず、あるいは事業/開発/運用間で整合されていない
- アーキテクチャ上の重要な選択(分離・統合・製品選定など)が、ビジョンの不在または誤解に基づいて行われる
- 結果として、**技術的には成立しているが、ビジネス価値の実現と乖離した構造**となり、**事後的な方向転換や再定義を余儀なくされる**見えてきた「テスト関係多すぎ」問題
なんとなくテスト関係は多そうだなと思っていたんですが、テスト関係の依存関係を整理していたらなかなか終わりませんでした。
項目が35個あり、うち8項目がテスト系。
設計段階の問題
アプリケーションの作りがテストしにくい構造になっている
テスト容易性を意識した全体設計になっていない
環境、ツール面の不備
テスト資材が整備されていない
テスト用のアーキテクチャ (環境の面や環境差異、CI/CDの統合など) が整備されていない
Ci/CDやテスト自動化ツールなど、テストを実現するためのツール群が整備されていない
方針、戦略面の不備
コンポーネント単位でのテスト方針がしっかりしていない
テストピラミッドの適用設計が不十分
システム間やサブシステム間、マイクロサービス間のインテグレションテストの方針が定義されていない
この辺りはアーキテクチャレビュー段階で方針が決まっていることはあまりなく、だいたい開発プロジェクト着手の直前での検討になることが多いように思われます。
ただうまくテストを実施することを考えた時、テストピラミッドなどといったテストの階層と階層ごとのスコープ、それに必要な技術の採用と、必要な環境の面とが必要になります。
これはかなりプロジェクトの早期で検討をしておく必要があります。プロジェクト費用に大きく影響が出るので。
そこを軽視した失敗プロジェクトを多数見ているので、それがどうプロジェクトの失敗として表出するかがうまく表現できたのかなと思っています。
最後に動作確認
最後にNPfITやMINORIのプロジェクト事例やアーキテクチャ図を渡して意図した回答が来ているかをチェック。
意図したものが返ってこない場合は、粒度が粗いため、ChatGPTと相談して項目を増やしました。
最後に失敗事例を渡して出力結果を確認していたプロセス、これ、まさにGrounded Reasoning Testという、AIの開発できちんと名前のついた工程だったんですね。
意識せずやっていましたが、「AIが正しく判断できるか」を検証するプロセスとして、試行錯誤の末に正しい道に辿り着けたようで少しホッとしています。