メインコンテンツへスキップ
見出し画像

test-knowledgeでAIのテスト設計品質を大幅に向上させた事例

    はじめに

    こんにちは。カラクリ株式会社の芹沢です。QAチームのリーダーとして、テスト計画から設計、実行まで一貫して担当しています。

    少し長めの記事ですが、20〜30分ほどで読み終わる内容です。具体例やコード例も交えながら書いていますので、コーヒーでも飲みながら読んでいただけたら嬉しいです。

    チームマネジメントと現場のテスト業務の両方を経験する中で、プロダクトに対するテスト設計のノウハウをどのように横展開し、品質を向上させるかという課題に直面してきました。

    メンバーにテスト設計業務を依頼する際、成果物の内容にばらつきが出たり、期待通りのテストケースが常に得られるわけではなく、このばらつきや不安定さに課題を感じていました。この課題は、AIに依頼する際も同様でした。しかし、test-knowledgeという知識ベースを用意することで、AIが生成するテストケースの質が劇的に向上しました。

    テストプロセス管理やテスト設計ノウハウの標準化・横展開を進めている方、このような課題を抱えていませんか?

    • テスト設計のノウハウをチームメンバーに引き継ぎたいが、情報量が多くてうまくいかない

    • AIにテスト設計を依頼してみたが、期待通りの品質のテストケースが得られない

    • テスト設計の標準化や横展開を進めたいが、どうすれば良いかわからない

    • テスト計画〜設計〜実行の一連のプロセスを管理しているが、品質向上の方法を模索している

    本記事では、テストプロセス管理リーダーやマネージャー、テスト設計ノウハウの標準化・横展開を進めている方に向けて、AIを活用したテスト設計品質向上の取り組みを、AIへの適用事例を中心に紹介していきます。同じような課題を抱えている方の参考になれば幸いです。

    AIにテスト設計業務を依頼する背景

    開発を進める上では、新機能に合わせてE2Eテストを作成する必要があります。しかし、テスト設計業務には、例として以下のような知識が必要です。

    • プロダクトの機能仕様と動作の理解

    • テスト観点の抽出方法

    • テストケースの標準的な記述方法

    • 既存テストパターンの理解

    ノウハウの引き継ぎという課題

    これまで、これらのノウハウはNotionなどのドキュメント管理ツールに、テストメンバーのために残してきました。しかし、テスト設計を依頼する際には、これら全てのノウハウを抑えて理解し、スキルを持ち合わせた上でテスト業務を進めてもらう必要があります。

    しかし、有識者のノウハウを言語化し、大量の情報を残したとしても、人間は大量の文章を理解し、記憶し、抑えた上でテスト業務を進めるのが苦手です。情報量が多ければ多いほど、テスト業務を引き継げず、ノウハウを引き継げないという課題がありました。結果として、「経験を繰り返して覚えてもらう」しかない状況が続いていました。

    AIへの期待

    一方で、AIは言語化された情報を漏れなく把握し、それを踏まえて作業を進めることが得意です。実際にAIを利用する中で、この特性を実感できています。この特性を活かせば、これまで人間には難しかった「大量のノウハウを全て押さえた上でのテスト業務」をAIに任せられるのではないか。そう考え、蓄積してきたQAテストノウハウをAI向けに移管してみることにしました。

    test-knowledgeが無いときの課題

    test-knowledgeを用意する前は、AIにテスト設計業務を依頼しても、以下のような課題がありました。

    1. プロダクトの背景考慮・理解不足

    AIは機能の表面的な理解にとどまり、プロダクト全体の文脈や利用者の視点を考慮したテストケースを作成できませんでした。例えば:

    • 権限制御の仕様を理解せず、権限のないユーザーでも操作できる前提のテストケースを作成

    • 画面遷移の前提条件を考慮せず、いきなり特定の画面からテストを開始するケース

    • エンドポイントと画面の対応関係を理解せず、存在しないエンドポイントを参照するケース

    • 画面設計や利用者視点での使い勝手を理解せず、実際のユーザー操作フローを無視したテストケースを作成

    2. テスト観点の考慮漏れ

    テスト設計のノウハウが不足していたため、重要なテスト観点が漏れていました。

    • 正常系のみで異常系や境界値テストが不足

    • CRUD操作のテスト観点が体系的に考慮されていない

    • 権限による動作の違いを検証する観点が不足

    • 非同期処理やエラーハンドリングの観点が不足

    3. テストケースの構えのばらつき

    テストケースの記述方法に統一性がなく、レビューや実装に時間がかかりました。

    • テストケースの粒度が統一されていない(例:詳細すぎる、粗すぎる)

    • テスト手順の記述方法がバラバラ

    • 期待結果の記述が曖昧

    • Playwright(自動テスト)で言えばコーディング形式、ルールが曖昧で対応の都度ばらつく

    test-knowledgeの導入

    これらの課題を解決するため、test-knowledgeという知識ベースを用意しました。

    今回用意したtest-knowledgeは、私が把握しているノウハウの一部です。これらは、今まではNotionなどドキュメント管理ツールに、私が一生懸命、テストメンバーのために残してきたQAテストノウハウでした。

    AIであれば、言語化された情報の全てをしっかりと抑えた上でテスト業務を進められるため、これまで人間には難しかった「ノウハウの引き継ぎ」が可能になると考えたのです。

    test-knowledgeは、大きく2つの目的に分かれています:

    1. 機能仕様の管理(E2Eベースの動作仕様・画面仕様)

    プロダクトの機能を利用者視点で理解できるドキュメントを用意しました。

    • 機能別概要仕様書: 機能単位でまとめた動作仕様書。各機能の主要機能と詳細な動作仕様を記載

    • 画面別機能概要書: 画面単位でまとめた動作仕様書。UI要素の配置、操作フロー、画面遷移など、E2Eテストで検証すべき画面動作を記述

    • エンドポイント一覧: 画面とエンドポイントの対応表。E2Eテストで使用するGraphQLクエリ・ミューテーションの情報を記載

    • グループ権限制御の仕様: 各権限が何を制御しているかの詳細仕様。権限ごとのUI要素、画面アクセス、GraphQLクエリ・ミューテーションの制御内容を記載

    これらは、外部設計書レベルの粒度のドキュメントで、プロダクトの機能が利用者視点でわかる内容になっています。つまり、内部実装の詳細ではなく、どんな機能があって、どのように使えて、それらを使うとプロダクトがどのようにふるまうのかがまとめられています。

    2. テスト設計に関するノウハウ資料

    テスト設計業務の流れやテスト観点、テスト項目の構えのルールをまとめました。

    • テスト計画ガイドライン: PRDからテスト計画を立てるためのガイドライン

    • テスト設計ガイドライン: テスト設計の基本フロー、機能タイプ別の考慮事項、テスト観点抽出チェックリスト

    • テストケーステンプレート: CSV形式のテストケーステンプレート(推奨)。CSVからMarkdown/Playwrightへの変換ルールも記載

    • テスト観点チェックリスト: 機能タイプ別の確認すべきテスト観点(CRUD操作、一覧表示、フォーム操作など)

    • 既存テストパターン: 良いテストパターンと悪いテストパターン、機能別テストパターンの事例

    test-knowledge導入後の効果

    test-knowledgeを用意してから、AIにテスト設計業務を依頼すると、以下のような改善が見られました。

    1. プロダクトの背景を考慮したテストケース

    test-knowledgeの機能仕様書を参照することで、AIは以下のようなことができるようになりました。

    • 権限制御の仕様を理解し、権限のないユーザーでも操作できる前提のテストケースを避けられるようになった

    • 画面遷移の前提条件を考慮し、適切な画面からテストを開始するケースを作成できるようになった

    • エンドポイントと画面の対応関係を理解し、正しいエンドポイントを参照するケースを作成できるようになった

    2. 体系的にテスト観点を考慮したテストケース

    テスト設計ガイドラインとテスト観点チェックリストを参照することで、AIは以下のような観点を体系的に考慮できるようになりました。

    • 正常系・異常系・境界値テストをバランスよく含める

    • CRUD操作のテスト観点を体系的に考慮

    • 権限による動作の違いを検証する観点を含める

    • 非同期処理やエラーハンドリングの観点を含める

    3. 統一されたテストケースの構え

    テストケーステンプレートを参照することで、AIは以下のような統一されたテストケースを作成できるようになりました。

    • テストケースの粒度が統一され、適切な詳細度で記述

    • テスト手順の記述方法が統一され、レビューや実装が容易に

    • 期待結果の記述が明確になり、実装時の迷いが減少

    • 標準化されたテンプレートに従い、一貫性のあるテストケースを作成できる

    具体的な改善例

    test-knowledge導入前後の改善例を、わかりやすい例で一部紹介します。

    改善前:権限制御を考慮しないテストケース

    テストケース: チケット一覧画面でチケットを削除する
    手順:
    1. チケット一覧画面にアクセス
    2. チケットを選択
    3. 削除ボタンをクリック
    期待結果: チケットが削除される

    このテストケースは、権限のないユーザーでも削除できる前提になっています。

    改善後:権限制御を考慮したテストケース

    テストケースID: TC-001
    機能名: チケット削除
    テスト観点概要: 削除権限を持つユーザーがチケットを削除できること
    テスト手順:
    1. 削除権限を持つユーザーでログイン
    2. チケット一覧画面にアクセス
    3. 削除可能なチケットを選択
    4. 削除ボタンをクリック
    5. 確認ダイアログで「削除」をクリック
    期待結果:
    - チケットが削除される
    - チケット一覧から削除されたチケットが表示されない
    - 成功メッセージが表示される
    
    テストケースID: TC-002
    機能名: チケット削除
    テスト観点概要: 削除権限を持たないユーザーはチケットを削除できないこと
    テスト手順:
    1. 削除権限を持たないユーザーでログイン
    2. チケット一覧画面にアクセス
    3. チケットを選択
    期待結果:
    - 削除ボタンが表示されない(または無効化されている)

    test-knowledgeの権限制御の仕様を参照することで、権限による動作の違いを検証する観点を含めることができるようになりました。

    改善前:テスト観点の考慮漏れ

    テストケース: チケットを作成する
    手順:
    1. チケット一覧画面で「追加」ボタンをクリック
    2. タイトルとカスタマーを入力
    3. 「保存」ボタンをクリック
    期待結果: チケットが作成される

    このテストケースは正常系のみで、異常系や境界値テストが不足しています。

    改善後:体系的にテスト観点を考慮したテストケース

    テストケースID: CXM-TEST-001
    機能名: チケット作成
    テスト観点概要: 必須項目を入力してチケットを作成する
    開発者モード: 不要
    ロール: オペレーター
    テスト手順:
    1. チケット一覧画面で「追加」ボタンをクリックする
    2. タイトルに「テストチケット」を入力する
    3. カスタマーを選択する
    4. 「保存」ボタンをクリックする
    期待結果:
    - チケットが作成されること
    - フラッシュメッセージ「作成しました」が表示されること
    - チケット詳細画面に遷移すること
    
    テストケースID: CXM-TEST-002
    機能名: チケット作成
    テスト観点概要: 必須項目未入力でチケット作成を試みる
    開発者モード: 不要
    ロール: オペレーター
    テスト手順:
    1. チケット一覧画面で「追加」ボタンをクリックする
    2. タイトルを空のまま「保存」ボタンをクリックする
    期待結果:
    - タイトル入力欄にエラーメッセージ「タイトルを入力してください」が表示されること
    - チケットが作成されないこと
    
    テストケースID: CXM-TEST-003
    機能名: チケット作成
    テスト観点概要: タイトルの最大文字数を超えてチケット作成を試みる
    開発者モード: 不要
    ロール: オペレーター
    テスト手順:
    1. チケット一覧画面で「追加」ボタンをクリックする
    2. タイトルに最大文字数(例:100文字)を超える文字列を入力する
    3. 「保存」ボタンをクリックする
    期待結果:
    - タイトル入力欄にエラーメッセージ「タイトルは100文字以内で入力してください」が表示されること
    - チケットが作成されないこと

    test-knowledgeのテスト観点チェックリストを参照することで、正常系・異常系・境界値テストを体系的に考慮したテストケースを作成できるようになりました。

    改善前:テストケースの構えのばらつき

    テストケース1: チケットステータス変更
    手順: チケット詳細画面でステータスを未解決から保留中に変更する
    期待結果: ステータスが変更される
    
    テストケース2: チケットステータス変更テスト
    前提条件: チケット詳細画面を表示している
    実行手順:
      1. ステータスドロップダウンをクリック
      2. 「保留中」を選択
    期待される結果:
      - ステータスが「保留中」に変更される
      - フラッシュメッセージが表示される

    このように、テストケースの記述方法がバラバラで、レビューや実装に時間がかかっていました。

    改善後:統一されたテストケースの構え

    テストケースID,機能名,テスト観点概要,開発者モード,ロール,テスト手順,期待結果
    CXM-TEST-001,チケットステータス,チケットステータスを変更する,不要,オペレーター,"1. メールチケットのチケット詳細を表示する
    2. チケットステータスを未解決→保留中に変更する","ステータスの変更ができること。
    「更新しました」のテロップが表示されること"
    CXM-TEST-002,チケットステータス,チケットステータスを解決済みに変更する,不要,オペレーター,"1. メールチケットのチケット詳細を表示する
    2. チケットステータスを未解決→解決済みに変更する","ステータスの変更ができること。
    「更新しました」のテロップが表示されること"

    test-knowledgeのテストケーステンプレートを参照することで、CSV形式で統一されたテストケースを作成できるようになりました。これにより、レビューや実装が容易になり、Markdown形式やPlaywrightコードへの変換も容易になりました。

    test-knowledgeの構成

    test-knowledgeは、以下のような構成になっています。

    test-knowledge/
    ├── README.md                          # 全体像と使い方
    ├── feature-overview-list.md           # 機能別概要仕様書
    ├── screen-feature-overview-list.md    # 画面別機能概要書
    ├── screen-endpoint-list.md            # エンドポイント一覧
    ├── feature-overview-permission-control.md  # グループ権限制御の仕様
    ├── test-planning-guidelines.md       # テスト計画ガイドライン
    ├── test-design-guidelines.md         # テスト設計ガイドライン
    ├── test-case-template.md              # テストケーステンプレート
    ├── test-perspective-checklist.md      # テスト観点チェックリスト
    └── test-patterns.md                   # 既存テストパターン

    AIにテスト設計業務を依頼する際は、これらのドキュメントを参照するように指示します。これにより、AIはプロダクトの背景を理解し、体系的にテスト観点を考慮した、統一されたテストケースを作成できるようになりました。

    test-knowledgeの活用方法

    実際にAIにテスト設計業務を依頼する際の方法を紹介します。現在はSlackとDevinを活用して、以下のようなワークフローで作業を進めています。

    作業依頼の流れ

    SlackでDevinへの作業依頼用のワークフローを作成し、PRD(製品要求仕様書)を基に、test-knowledgeを参照しながら段階的にテスト計画・設計・テストケース作成を依頼します。

    実際の運用では、以下のようなシンプルなフォームから作業を開始します。

    • PRDのURL(または内容): テスト対象となるPRDのURLまたは内容を入力

    • 実装済みのプルリクやテスト対象ブランチのURL: 実装済みのプロダクトがあれば、そのURLを入力

    画像

    このフォームから送信すると、入力した内容が自動的にDevinへの依頼文に当て込まれ、test-knowledgeを参照した詳細な作業依頼が生成されます。毎回細かい指示を書く必要はなく、PRDと実装済みの内容のURLを貼り付けて送信ボタンを押すだけです。Devinは生成された依頼文に基づいて、test-knowledgeを参照しながら、テスト計画・設計・テストケース作成を進めます。

    以下は、実際にDevinに送信される作業依頼の詳細な内容の例です。フォームで入力したPRDのURLと実装済みの内容のURLが、それぞれ「対象PRD」と「実装済みの内容」のセクションに自動的に当て込まれます。

    @Devin
    以下のPRD(製品要求仕様書)の内容を担保するため、E2Eテストの計画と設計をお願いします。
    
    ## 対象PRD
    https://github.com/{your-org}/{your-repo}/blob/main/docs/prd/{feature-name}.md
    
    ## 実装済みの内容
    https://github.com/{your-org}/{your-repo}/tree/main/{feature-branch}
    
    ---
    上記を踏まえ、以下のREADMEを参考にしながら、段階的に以下の成果物を作成してください。
    *参考README:*
    https://github.com/{your-org}/{your-repo}/blob/main/apps/{your-app}/e2e/test-knowledge/README.md
    
    ---
    ### 【Step 1】テスト計画書の作成
    test-planning-guidelines.md の「テスト計画書テンプレート」を参考に、以下の内容を含むテスト計画書を作成してください:
    - 概要(機能名、PRD、テスト対象バージョン)
    - テスト範囲(テスト対象、テスト対象外)
    - テスト戦略(機能タイプ、ロール別テスト、シナリオテスト、技術的なテスト)
    - テスト優先順位(優先度: 高/中/低)
    - テスト環境・データ要件
    - リスクと対策
    
    *成果物:*
    - ファイル形式: Markdown形式
    - ファイル名: [機能名]-test-plan.md の形式で作成してください
    - 完成度確認: test-planning-guidelines.md の「テスト計画書テンプレート」と「チェックリスト: テスト計画の完成度」を参考に、完成度を確認してください
    
    ---
    ### 【Step 2】テスト観点の抽出
    作成したテスト計画を考慮し、test-design-guidelines.md と test-perspective-checklist.md を参考にテスト観点を抽出してください。
    - 機能タイプに応じた観点を体系的に抽出してください
    - 正常系・異常系・境界値テストの観点を含めてください
    
    *成果物:*
    - ファイル形式: CSV形式
    - ファイル名: [機能名]-test-perspectives.csv の形式で作成してください
    
    ---
    ### 【Step 3】テストケースの作成
    作成したテスト計画とテスト観点一覧を考慮し、test-case-template.md を参考にテストケースを作成してください。
    - 正常系・異常系・境界値テストを含めてください
    - CSV形式のテンプレートに従って作成してください
    
    *成果物:*
    - ファイル形式: CSV形式
    - ファイル名: [機能名]-test-cases.csv の形式で作成してください
    - 列構成: テストケースID、機能名、テスト観点概要、開発者モード、ロール、テスト手順、期待結果(test-case-template.md のテンプレートに従ってください)
    
    ---
    ## 成果物の提出方法
    作成した成果物は、以下のファイルとしてこのスレッドに添付してください:
    - *テスト計画書*: [機能名]-test-plan.md ファイル
    - *テスト観点一覧*: [機能名]-test-perspectives.csv ファイル
    - *テストケース一覧*: [機能名]-test-cases.csv ファイル

    ポイント

    このワークフローでは、以下の点が重要です。

    1. test-knowledgeの参照を明示: READMEや各ガイドラインへのリンクを提供し、AIが適切なドキュメントを参照できるようにしています

    2. 段階的な作業依頼: テスト計画 → テスト観点抽出 → テストケース作成の順に、段階的に成果物を作成するよう指示しています

    3. 具体的な成果物の指定: ファイル形式、ファイル名、列構成などを明確に指定することで、統一された形式で成果物が作成されます

    4. PRDからの情報抽出: PRDの各セクションから必要な情報を抽出する手順を明示することで、テスト計画の質を担保しています

    このように、test-knowledgeを参照しながら段階的に作業を進めることで、AIは期待通りの品質のテスト計画・設計・テストケースを作成できるようになりました。

    test-knowledgeの具体例

    test-knowledgeがどのような内容なのか、具体的なイメージが掴めるように、実際に用意したtest-knowledgeの各ファイルについて、具体例の一部を参考までに載せておきます。

    機能別概要仕様書(feature-overview-list.md)

    機能単位でまとめた動作仕様書です。各機能の主要機能と詳細な動作仕様を記載しています。

    ### 8. ワークフロー承認
    
    #### 機能概要
    メール送信前に承認が必要な場合に、承認依頼を作成し、承認者による承認・却下処理を行う機能です。
    
    #### 主要機能
    
    ##### 承認依頼の作成
    - **メール送信時の承認依頼作成**: メール送信前の確認モーダルから承認依頼を作成できる。
        - 承認グループ(ユーザーまたはユーザーグループ)を指定して承認依頼を作成
        - コメントを入力可能
        - 承認依頼作成後、メールは送信されずに保留状態になる
    - **承認依頼の状態**: 承認依頼には以下の状態がある。
        - **保留中(PENDING)**: 承認待ちの状態
        - **承認済み(APPROVED)**: 承認された状態
        - **差戻し(REJECTED)**: 却下された状態
    
    ##### 承認依頼の一覧表示
    - **承認依頼一覧画面**: 承認依頼の一覧を確認できる。
        - ステータス(バッジ表示)
        - チケット(クリックでチケット詳細へ遷移)
        - 承認グループ(クリックでグループ詳細またはユーザー詳細へ遷移)
        - 申請者(アバターと氏名、クリックでユーザー詳細へ遷移)
        - 申請日時
        - 承認・差戻し日時(未承認の場合は「-」)
        - コメント(未入力の場合は「-」)
    
    ⋮

    画面別機能概要書(screen-feature-overview-list.md)

    画面単位でまとめた動作仕様書です。UI要素の配置、操作フロー、画面遷移など、E2Eテストで検証すべき画面動作を記述しています。

    ### ログイン (`/`)
    
    #### 機能概要
    
    - ログイン画面で認証情報を入力してログインできる。
        - 組織が存在しない場合は404ページが表示される。
    
    #### 詳細機能
    
    - **ログインフォーム**:
        - **組織ID**(開発環境のみ): テキスト入力。プレースホルダー: 「dev」。デフォルト値はサブドメインから自動取得される。
        - **メールアドレス**: テキスト入力(必須)。プレースホルダー: 「karakuri@example.com」。
        - **パスワード**: パスワード入力(必須、`autocomplete="current-password"`)。プレースホルダー: 「8文字以上の半角英数字」。
        - **ログインボタン**: フォーム送信でログイン。ログイン中はローディング表示。
        - **バリデーション**: `zod`スキーマ(`authSchema`)によるバリデーション。
            - メールアドレス: メール形式チェック、必須(エラーメッセージ: 「正しいメールアドレスを入力してください。」「メールアドレスを入力してください。」)。
            - 組織ID: 必須(エラーメッセージ: 「組織IDを入力してください」)。
            - パスワード: 必須(エラーメッセージ: 「パスワードを入力してください」)。
        - **エラーハンドリング**: ログイン失敗時、`handleSignInError`でエラーを処理し、フォームにエラーメッセージを表示。
    
    ⋮

    エンドポイント一覧(screen-endpoint-list.md)

    画面とエンドポイントの対応表です。E2Eテストで使用するGraphQLクエリ・ミューテーションの情報を記載しています。

    | 画面名 | エンドポイント | 導線 |
    |--------|----------------|------|
    | ログイン | `/` | 直接アクセス |
    | あいさつ | `/hello` | ログインする(ログイン時の初期表示画面) |
    | パスワード再設定メール | `/password/forgot` | ログイン画面フッター「パスワードを忘れた場合」、個人設定のパスワード変更画面「パスワードを忘れた場合」 |
    | お知らせ一覧 | `/announcements` | サブナビゲーション「お知らせ」 |
    | 個人設定 | `/user-settings` | 「設定」ドロップダウン→「個人設定」 |
    | チケット一覧 | `/tickets` | メインナビゲーション「チケット」 |
    | チケット詳細 | `/tickets/{ID}` | チケット一覧から遷移 |
    
    ⋮

    グループ権限制御の仕様(feature-overview-permission-control.md)

    各権限が何を制御しているかの詳細仕様です。権限ごとのUI要素、画面アクセス、GraphQLクエリ・ミューテーションの制御内容を記載しています。

    ## 権限の種類
    各権限には以下のアクションがあります:
    - **閲覧(READ)**: 情報の閲覧を制御
    - **作成(CREATE)**: 新規作成を制御
    - **更新(UPDATE)**: 編集・更新を制御
    - **削除(DELETE)**: 削除を制御
    
    ## 権限制御の仕様例
    
    ### 閲覧(READ)権限が制御する機能
    
    #### UI要素の表示/非表示
    - **メインナビゲーションのメニュー項目**: 閲覧権限がない場合は表示されない
    - **一覧画面のテーブル行**: 閲覧権限がない場合は表示されない
    
    #### 画面へのアクセス
    - **一覧画面**: 閲覧権限がない場合、直リンクでアクセスしても権限エラーになる
      - 権限エラーダイアログが表示される
      - テーブル行は表示されない(タイトルは表示される)
    
    #### GraphQLクエリ
    - **一覧取得クエリ**: 閲覧権限がない場合は実行できない
    - **詳細取得クエリ**: 閲覧権限がない場合は実行できない
    
    ### 更新(UPDATE)権限が制御する機能
    
    #### UI要素の表示/非表示
    - **編集ボタン**: 更新権限がない場合は表示されない
    - **設定タブ**: 更新権限がない場合は表示されない
    
    #### GraphQLミューテーション
    - **更新ミューテーション**: 更新権限がない場合は実行できない
    
    ⋮

    テスト計画ガイドライン(test-planning-guidelines.md)

    PRDからテスト計画を立てるためのガイドラインです。

    ※本記事ではテスト設計に焦点を当てていますが、テスト設計の材料として必要なテスト計画書の作成に関するガイドラインも含めて紹介しておきます。

    テスト計画書そのものよりも、テスト計画で定義される情報がテスト設計の前提条件・制約条件として必要です。テスト設計を効果的に進めるために、以下の情報を明確にする必要があります。

    ## テスト設計に必要なテスト計画の情報
    
    ### 1. テスト対象の範囲(スコープ)
    - 何をテストし、何をテストしないかが決まらないと、テスト設計の範囲が定まらない
    - 例: 「今回のリリースではチャットボット機能のみ対象、管理画面は対象外」
    
    ### 2. テストレベルとテストタイプ
    - 単体・結合・システム・受け入れのどのレベルでテスト設計するかで、観点・粒度・責任範囲が変わる
    - 例: 「E2Eテストでは正常系フローのみ、異常系はAPIテストでカバー」
    
    ### 3. 品質特性・重点テスト観点
    - 機能性だけでなく、性能・セキュリティ・ユーザビリティ等のどこに重点を置くかでテスト設計の方向性が変わる
    - 例: 「レスポンスタイム3秒以内を品質目標とする」
    
    ### 4. リスク情報
    - リスクベースドテストでは、どこにリスクがあるかを把握して、テスト設計の優先度・深度を決める
    - 例: 「決済機能は障害時の影響大→網羅的にテスト設計」
    
    ### 5. 完了基準(Exit Criteria)
    - どこまでテストすれば十分かが決まらないと、テスト設計の深さ・網羅度が決められない
    - 例: 「重大バグ0件、カバレッジ80%以上で完了」
    
    ### 6. テスト環境・制約条件
    - 使える環境・データ・ツールの制約がテスト設計の実現可能性に影響する
    - 例: 「本番同等環境は使えない→モック前提で設計」
    
    ### 7. スケジュール・リソース
    - 時間とリソースの制約で、どこまで詳細にテスト設計するかが変わる
    - 例: 「テスト設計に1週間しかない→主要機能のみ詳細設計」
    
    ⋮

    また、実務での落とし穴として、テスト計画なしでテスト設計を開始するとスコープのブレやテスト漏れが発生し、テスト計画が曖昧なまま進行すると設計者によって解釈がバラバラになることがあります。

    アジャイル寄りの現場や少人数チームでは「重厚なテスト計画書」は現実的でないこともありますが、最低限の情報を明文化しておくことで、テスト設計の品質は保てます。簡易版のテスト方針メモの例も記載しています。

    # テスト方針メモ(簡易版)
    
    ## 対象
    - チャットボット新機能(v2.3リリース分)
    
    ## スコープ外
    - 管理画面、既存機能のリグレッション(自動テストでカバー)
    
    ## テストレベル
    - E2E: 主要シナリオの正常系
    - API: 異常系、境界値
    
    ## 重点観点
    - 応答の正確性、レスポンス時間(3秒以内)
    
    ## 完了基準
    - 重大バグ0、主要シナリオ100%Pass
    
    ## 制約
    - 本番DBは使用不可、テスト用ダミーデータを使用
    
    ⋮

    また、PRDから情報を抽出する方法も記載しています。例えば、ターゲットユーザーと提供価値セクションからは以下のような情報を抽出できます。

    ### 2. ターゲットユーザーと提供価値セクション
    
    #### 確認すべき情報
    - **ターゲットユーザー**: 誰がこの機能を使うのか(管理者、オペレーター、一般ユーザーなど)
    - **ユーザーストーリー**: ユーザーが何をしたいのか、なぜそれが重要なのか
    
    #### テスト計画への反映
    - **ロール別のテスト**: ターゲットユーザーに応じたロールでのテストが必要
    - **シナリオテスト**: ユーザーストーリーを元に、エンドツーエンドのシナリオテストを作成
    - **提供価値の検証**: ユーザーストーリーの「So that...」で示された価値が実現されているかを検証
    
    ⋮

    テスト設計ガイドライン(test-design-guidelines.md)

    テスト設計の基本フロー、機能タイプ別の考慮事項、テスト観点抽出チェックリストを記載しています。

    ## テスト設計の基本フロー
    
    ### 1. 機能理解フェーズ
    1. **機能仕様の確認**
       - `feature-overview-list.md`で機能の概要を確認
       - `screen-feature-overview-list.md`で画面別の詳細機能を確認
       - `screen-endpoint-list.md`で関連するエンドポイントを確認
    
    2. **既存実装の確認**
       - 類似機能の既存テストケースを確認
       - 既存のテストパターンを参考にする
    
    ### 2. テスト観点抽出フェーズ
    以下の観点からテストケースを抽出する:
    
    #### 機能観点
    - **正常系**: 期待される動作が正しく実行されるか
    - **異常系**: エラー時の動作が適切か
    - **境界値**: 最小値、最大値、境界値での動作
    - **組み合わせ**: 複数の条件を組み合わせた動作
    
    #### 権限観点
    - **閲覧権限**: 権限に応じた表示制御
    - **操作権限**: 権限に応じた操作制御
    - **データアクセス権限**: 権限に応じたデータアクセス制御
    - **ロール別のテスト**: オーナー、情シス、オペレーターの各ロールでの動作確認
    
    ## 機能タイプ別の考慮事項
    
    ### CRUD操作(作成・読取・更新・削除)
    - **作成**: 必須項目チェック、バリデーション、重複チェック
    - **読取**: 一覧表示、詳細表示、検索、フィルタリング、ソート、ページネーション
    - **更新**: 更新権限チェック、楽観的ロック、更新履歴
    - **削除**: 削除権限チェック、関連データの扱い、復元機能
    
    ⋮

    テスト観点チェックリスト(test-perspective-checklist.md)

    機能タイプ別に確認すべきテスト観点をチェックリスト形式でまとめています。

    ## CRUD操作(作成・読取・更新・削除)
    
    ### 作成(Create)
    - [ ] 必須項目のみで作成できる
    - [ ] 全項目を入力して作成できる
    - [ ] 必須項目未入力でエラーが表示される
    - [ ] バリデーションエラーが正しく表示される
    - [ ] 重複チェックが正しく動作する(重複が許容されない場合)
    - [ ] 作成後の遷移先が正しい
    - [ ] 作成後のフラッシュメッセージが表示される
    - [ ] 作成権限がない場合、作成ボタンが表示されない/無効化される
    - [ ] 作成中はローディング表示される
    - [ ] 作成失敗時のエラーハンドリングが適切
    
    ### 更新(Update)
    - [ ] 全項目を更新できる
    - [ ] 部分的な更新ができる
    - [ ] 必須項目を空にしてエラーが表示される
    - [ ] バリデーションエラーが正しく表示される
    - [ ] 更新後の遷移先が正しい
    - [ ] 更新後のフラッシュメッセージが表示される
    - [ ] 更新権限がない場合、更新ボタンが表示されない/無効化される
    - [ ] 更新中はローディング表示される
    - [ ] 更新失敗時のエラーハンドリングが適切
    - [ ] 楽観的ロックが正しく動作する(該当する場合)
    
    ### 削除(Delete)
    - [ ] 削除が実行できる
    - [ ] 削除確認ダイアログが表示される
    - [ ] 削除キャンセルができる
    - [ ] 削除後の遷移先が正しい
    - [ ] 削除後のフラッシュメッセージが表示される
    - [ ] 削除権限がない場合、削除ボタンが表示されない/無効化される
    - [ ] 削除中はローディング表示される
    - [ ] 削除失敗時のエラーハンドリングが適切
    - [ ] 関連データがある場合の扱いが適切(削除不可/カスケード削除など)
    
    ⋮

    テストケーステンプレート(test-case-template.md)

    CSV形式のテストケーステンプレートです。CSVからMarkdown/Playwrightへの変換ルールも記載しています。

    テストケースID,機能名,テスト観点概要,開発者モード,ロール,テスト手順,期待結果
    CXM-TEST-001,チケットステータス,チケットステータスを変更する,不要,オペレーター,"1. メールチケットのチケット詳細を表示する
    2. チケットステータスを未解決→保留中に変更する","ステータスの変更ができること。
    「更新しました」のテロップが表示されること"
    CXM-TEST-002,チケット作成,必須項目を入力してチケットを作成する,不要,オペレーター,"1. チケット一覧画面で「追加」ボタンをクリックする
    2. タイトルとカスタマーを入力する
    3. 「保存」ボタンをクリックする","チケットが作成されること。
    フラッシュメッセージ「作成しました」が表示されること。
    チケット詳細画面に遷移すること"
    CXM-TEST-003,チケット作成,必須項目未入力でチケット作成を試みる,不要,オペレーター,"1. チケット一覧画面で「追加」ボタンをクリックする
    2. タイトルを空のまま「保存」ボタンをクリックする","タイトル入力欄にエラーメッセージ「タイトルを入力してください」が表示されること。
    チケットが作成されないこと"
    
    ⋮

    上記のCSV形式のテストケースは、以下のようにPlaywrightコードに変換できます。

    // CXM-TEST-001: チケットステータスを変更する
    test('チケットステータス - チケットステータスを変更する', async ({ userPage }) => {
      // 1. メールチケットのチケット詳細を表示する
      await userPage.goto('/tickets/test-ticket-id')
      
      // 2. チケットステータスを未解決→保留中に変更する
      await userPage.getByRole('combobox', { name: 'ステータス' }).selectOption('保留中')
      
      // 期待結果: ステータスの変更ができること。「更新しました」のテロップが表示されること
      await expect(userPage.getByText('更新しました')).toBeVisible()
      await expect(userPage.getByRole('combobox', { name: 'ステータス' })).toHaveValue('保留中')
    })
    
    // CXM-TEST-002: 必須項目を入力してチケットを作成する
    test('チケット作成 - 必須項目を入力してチケットを作成する', async ({ userPage }) => {
      // 1. チケット一覧画面で「追加」ボタンをクリックする
      await userPage.goto('/tickets')
      await userPage.getByRole('button', { name: '追加' }).click()
      
      // 2. タイトルとカスタマーを入力する
      await userPage.getByLabel('タイトル').fill('テストチケット')
      await userPage.getByLabel('カスタマー').click()
      await userPage.getByText('テストカスタマー').click()
      
      // 3. 「保存」ボタンをクリックする
      await userPage.getByRole('button', { name: '保存' }).click()
      
      // 期待結果: チケットが作成されること。フラッシュメッセージ「作成しました」が表示されること。チケット詳細画面に遷移すること
      await expect(userPage.getByText('作成しました')).toBeVisible()
      await expect(userPage).toHaveURL(/\/tickets\/[^/]+$/)
    })
    
    // CXM-TEST-003: 必須項目未入力でチケット作成を試みる
    test('チケット作成 - 必須項目未入力でチケット作成を試みる', async ({ userPage }) => {
      // 1. チケット一覧画面で「追加」ボタンをクリックする
      await userPage.goto('/tickets')
      await userPage.getByRole('button', { name: '追加' }).click()
      
      // 2. タイトルを空のまま「保存」ボタンをクリックする
      await userPage.getByRole('button', { name: '保存' }).click()
      
      // 期待結果: タイトル入力欄にエラーメッセージ「タイトルを入力してください」が表示されること。チケットが作成されないこと
      await expect(userPage.getByText('タイトルを入力してください')).toBeVisible()
      await expect(userPage).toHaveURL(/\/tickets\/new$/)
    })
    
    ⋮

    既存テストパターン(test-patterns.md)

    既存のテストコードから抽出した、良いテストパターンと悪いテストパターンをまとめています。

    ## 良いテストパターン
    
    ### パターン1: クリーンアップ処理の実装
    
    test.describe('チケット管理', () => {
      const createdTicketIds: string[] = []
    
      test.afterAll(async ({ adminPage }) => {
        for (const ticketId of createdTicketIds) {
          try {
            await deleteTicket(adminPage, ticketId)
          } catch (error) {
            console.error(`Failed to delete ticket ${ticketId}:`, error)
          }
        }
      })
    
      test('チケットを作成できる', async ({ adminPage }) => {
        const ticket = await createTicket(adminPage, { title: 'テストチケット' })
        createdTicketIds.push(ticket.id)
        
        await expect(adminPage.getByText('テストチケット')).toBeVisible()
      })
    })
    
    ### パターン2: セマンティックなセレクターの使用
    
    // ✅ 良い例: getByRoleを使用
    await adminPage.getByRole('button', { name: '保存' }).click()
    
    // ✅ 良い例: getByLabelを使用
    await adminPage.getByLabel('タイトル').fill('テストタイトル')
    
    // ✅ 良い例: getByTextを使用(ユニークなテキスト)
    await adminPage.getByText('テストチケット').click()
    
    // ✅ 良い例: getByTestIdを使用(上記で特定できない場合のみ)
    await adminPage.getByTestId('ticket-delete-button').click()
    
    ⋮

    まとめ

    test-knowledgeを用意することで、AIが生成するテストケースの質が大幅に向上しました。特に以下の点で効果がありました。

    1. プロダクトの背景を考慮したテストケース: 機能仕様書を参照することで、プロダクト全体の文脈を理解したテストケースを作成できるようになった

    2. 体系的にテスト観点を考慮したテストケース: テスト設計ガイドラインとテスト観点チェックリストを参照することで、重要な観点が漏れないようになった

    3. 統一されたテストケースの構え: テストケーステンプレートを参照することで、統一された形式でテストケースを作成できるようになった

    今回の取り組みを通じて、AIにテスト設計業務を依頼する際は、プロダクトの機能仕様とテスト設計・テスト計画のノウハウを知識ベースとして用意することが重要であることがわかりました。これにより、AIは期待通りのテストケースを高品質・高精度で作成できるようになりました。

    今後の展望

    現在、テストケースの導出まではAI化・自動化を進めることができました。今後は、test-knowledge自体のメンテナンスの自動化を目指しており、現在調査・検討を進めています。

    具体的には、プロダクトの開発と紐づけて、自動で最新の仕様に更新し、それに合わせてテスト設計ノウハウも自動的にメンテナンスしていくという取り組みです。

    最後までお読みいただき、ありがとうございました。今回の記事が参考になれば幸いです。

    なお、今回紹介した内容はあくまで1つの事例です。それぞれの現場に合ったより良い仕組みを検討し、実践してみるのはいかがでしょうか。


    あなたへのおすすめ