メインコンテンツへスキップ
見出し画像

AIが実装もテストも書くので、Property-Based Testing を入れてみた

    株式会社movのエンジニアの日向です。

    AIが実装の大部分を書くようになりました。テストもAIが書きます。

    ただ、フロントエンドについてはVitestを入れたばかりで、何をどこまで書くかの型がありませんでした。
    出てきたテストが妥当なのかを判断する基準もありませんでした。

    そんな中、チームで試していたのがaidlc-workflowsです。
    AWSが提唱するAI-DLC(AI-Driven Development Life Cycle)という開発方法論をAIに実装させるためのOSSです。

    実行していて目に留まったのは「PBT拡張」という仕組みです。有効にすると、設計工程で「満たすべき性質」を成果物として明文化することが求められます。(当時使っていたのはv1で、v2にはないようです)

    なぜAI主導の開発プロセスに、わざわざProperty-Based Testing(以下PBT)の枠組みが組み込まれているのか。
    調べていくうちに、これはAIにコードを書かせるときの構造的な穴を突いているのだと分かりました。

    拡張を有効にするかは別として、この考え方はワークフローと関係なく効くはずだと思い、まずフロントエンドにfast-check、バックエンドにprop_checkを導入しました。

    1ヶ月ほど使ってみましたが、まだうまく使えていません。
    難しいのは、何をどんな入力で確かめるかを決めるところでした。
    書いたテストは緑なのに、あとから読み返したら入力が実装の写しになっていました。実装が想定していないケースを、そもそも試せていなかったのです。

    この記事では、PBTを導入してみての詰まりどころをご紹介します。
    これからPBTを試してみようと考えている方や、AIにテストを書かせている方の参考になれば嬉しいです。

    AIが書いたテストの何が問題か

    冒頭に書いた「構造的な穴」から説明します。
    まず、従来のテスト(exampleテスト)の性質を確認します。

    exampleテストは「この入力ならこの結果」というケースを人が手で列挙します。
    この方式には、網羅性が書き手の想像力に依存するという弱点があります。
    思いつかなかった入力は永遠にテストされません。

    書き手がAIになっても、この弱点はなくなりません。
    むしろ悪化する場面があります。
    テストを実装から導いたとき、実装の見落としはそのままテストの前提になります。

    たとえば「空白除去」の実装で、半角スペースだけを見てタブを考慮し忘れていたとします。このとき、同じ思考でテストを書けば、テストの入力にもタブは出てきません。

    結果として「テストは緑だが実装は間違い」という状態が通ります。
    しかも厄介なことに、テストは存在しているので、通ってしまったことに気づけません。

    必要なのは、実装の思い込みから独立した検証軸です。
    実装から導くのではなく、要件から導いた「性質」で縛る。
    それがPBTでした。

    冒頭のPBT拡張がうまいと思ったのは、この「性質の言語化」を設計工程に組み込んでいる点です。
    PBTの本質的なコストは、どんな入力でも成り立つべき性質をどう言葉にするかにあります。
    それを設計の成果物として先に確定させてしまえば、テストを書く段階での追加負担がほとんどなくなります。

    Property-Based Testingとは

    PBTは、exampleテストと発想が逆です。

    入力ごとの正解を書く代わりに、「どんな入力でも成り立つべき性質」を1つ宣言し、あとはライブラリが大量の入力を自動生成し、その性質を破る反例を探します。

    exampleテストは、入力を人が手で選びます。
    「この入力ならこの結果」を1件ずつ書くので、網羅性は書き手の想像力の範囲に収まります。
    失敗したときに分かるのも、その1件だけです。

    PBTは、入力をジェネレータが作ります。
    人が書くのは「どんな入力でも成り立つべき条件」1つだけです。
    得意な相手も違います。exampleが具体的な仕様や代表ケースを押さえるのに向いています。一方で、PBTは純粋関数・変換・正規化・パースのように入力の形が決まっているものに強いです。

    実用上ありがたいのがshrink(最小化)です。
    反例が見つかると、ライブラリがそれを段階的に単純化して、原因が読み取りやすい形まで絞り込んでくれます。

    先ほどの「空白除去がタブを消し忘れていた」ケースで言うと、最初に見つかる反例は、"a \t b\n1あ "のような、スペース・タブ・改行が混ざった長い文字列です。これを見せられても、何が原因なのかは分かりません。

    shrinkはそこから文字を削りながら、それでも落ちるかを試していきます。
    最後に残るのはタブ1文字だけの文字列。
    ここまで削られると原因がタブだと読み取れます。
    失敗時はseedも出力されるため、同じケースを簡単に再現できます。

    フロントエンドに入れてみる

    導入をフロントエンドから始めたのには理由があります。
    PBT拡張のフレームワーク選定ルールに、言語ごとの推奨が並んでいて、JavaScript / TypeScriptにはfast-checkが挙げられていました。

    パイロットとして、文字列変換のユーティリティにPBTを追加しました。
    ここでは一番出番の多かった不変条件を例にします。

    不変条件:出力が満たすべき条件を、全入力で守る

    入力が何であれ、出力が満たすべき条件を表明します。
    例として「空白除去の結果に空白が1つも残らない」を挙げます。

    // 空白文字を混在させた文字列。不変条件を意味のある形で検証するため
    const stringWithWhitespace = fc
      .array(fc.constantFrom(' ', '\t', '\n', 'a', 'b', '1', 'あ'))
      .map((chars) => chars.join(''))
    
    fc.assert(
      fc.property(stringWithWhitespace, (s) => {
        expect(/\s/.test(removeAllSpaces(s))).toBe(false)
      })
    )

    空白の種類はこちらで与えていますが、それがどの順番で何個並ぶかは書いていません。
    "a\t \nb"のような組み合わせをジェネレータが作るので、取りこぼしがあれば反例が出ます。

    ジェネレータ次第で、検証は骨抜きになる

    ここが、あとで効いてくるところです。

    上のジェネレータを使わず、素直にfc.string()と書いたらどうなるか。
    この性質は素通りします。
    fc.string()の既定は印字可能なASCII相当なので、半角スペースは出ますがタブや改行は生成されないからです(fast-check v4時点)。
    実装がタブを消し忘れていても、テストは緑のままになります。

    fc.assertと書いてあっても、fc.propertyを使っていても、入力が薄ければ何も検証していません。
    空白を意図的に混ぜた専用のジェネレータを用意して、初めて性質が意味を持ちます。

    導入コストは小さい

    意外だったのは、導入がほぼ無風だったことです。
    fast-checkを追加するだけで、Vitestの設定変更は必要ありませんでした。
    配置も実行系も既存のテストと同じで、PBTを含めて全件パスしています。

    あわせて、PBTの規約(対象の選び方・型・exampleとの併用の線引き)をリポジトリのルールとして明文化し、既存のVitest規約から参照させました。
    AIがテストを書く前提だからこそ、書き方の型をAIが参照する場所に書く必要があるという判断です。

    特に周知はしていませんでしたが、その後いくつかの機能開発の中で、他のメンバーがPBTを書いているのを見かけました。

    落とし穴:性質そのものをレビューする

    骨抜きになる原因は、ジェネレータだけではありません。
    性質の方にも同じ落とし穴があります。

    弱すぎる性質→緑だが無意味

    先ほどの空白除去のテストで、「出力は文字列型である」ということしか確認していなかったとします。
    この性質は空白が残っていても緑のまま通ります。

    テストはあるのに、何も検証していない状態です。
    これは冒頭に挙げた「テストは緑だが実装は間違い」がPBTでも起きるということです。
    「空白が1つも残らない」のように、壊れたら必ず落ちる性質にする必要があります。

    落ちたとき、直すのは実装か性質か

    文字列を切り詰める関数が、こういう実装だったとします。
    limitより長い入力のときだけ、先頭からlimit - 1文字を取り、末尾に省略記号を足す作りです。

    export function truncate(text: string, limit: number) {
      if (text.length > limit) {
        return text.slice(0, limit - 1) + '...'
      }
      return text
    }

    性質は「出力は必ずlimit文字以下になる」でしょうか。

    fc.assert(
      fc.property(
        fc.string({ minLength: 20 }),        // limit より必ず長い入力にする
        fc.integer({ min: 1, max: 10 }),
        (text, limit) => {
          expect(truncate(text, limit).length).toBeLessThanOrEqual(limit)
        }
      )
    )

    これは落ちます。省略記号は1文字の三点リーダー(…)ではなく、ピリオド3つ(...)でした。
    truncate("abcdefghij", 5)は、7文字の"abcd..."を返します。
    切り詰められた出力長は(limit - 1) + 3文字、つまり、limit + 2文字です。

    問題は、これが実装のバグなのか性質の間違いなのか、コードを見ても決まらないことです。

    • limitが「出力の文字数の上限」を意味するなら、実装のバグです。省略記号3文字分を引いていません

    • limitが「省略記号を1文字と数えたときの文字数の上限」を意味するなら性質のほうが間違いです。本文をlimit - 1文字にして記号を1つ足す、という数え方なら辻褄が合います

    コードには手がかりが残っています。limit - 1としているのは、記号1文字分を空けたように見えます。だとすると、後者で「...」(3文字)を使っているのが想定外だったのかもしれません。

    ただ、それは推測です。同じコード、同じ失敗で、直す先が変わります。
    決められるのは、引数が何を約束しているのかを知っている人間だけです。

    exampleテストだと、これに気づけない

    ここが重要なところです。同じ関数をexampleテストで書くと、

    test('上限を超えたら省略記号を付ける', () => {
      expect(truncate('abcdefghij', 5)).toBe('abcd...')
    })

    このテストは通ります。出力が7文字であることには誰も気づきません。

    期待値を書くという行為は、実装を動かして返ってきた値を固定する作業になりがちです。つまり、exampleテストは、実装の追認になりやすい。
    「limitを5と言ったのに7文字返ってきているが、それでいいのか」という問いは、期待値を1つ書いた時点で消えてしまいます。

    冒頭の話につながります。実装を書いたAIがexampleテストも書けば、この問いは最初から生まれません。

    PBTのほうは、個別の出力ではなく「入力によらず成り立つこと」を書かせます。「limitは何を約束しているのか」を一度は考えることになります。

    ただ、それは考える契機が増えるだけで強制ではありません。
    実装を見ながら性質を書けば、PBTでも同じ穴に落ちます。
    そして問いが立ったとしても、答えるのは人間です。

    性質はコードと同じくレビュー対象です。
    「この性質は、実装が壊れたとき本当に落ちるか?」「落ちたとき、直すのは実装か性質か」を問う。これが生命線でした。

    裏を返せば、性質をAIに書かせること自体は問題ありません。問題は、人間が目を通さないまま通してしまうことです。

    ここまでの2つは説明のために作った例です。
    「出力は文字列型である」だけの性質を実際に書く人はいないでしょうし、切り詰めの性質も記事のために考えたものです。

    ただ、「テストはあるのに、何も検証していない」が、実際に起きました。しかも性質ではなく、入力のほうで。

    バックエンドにも入れてみる

    フロントエンドで試したあと、バックエンド(Ruby)にもPBTを追加しました。TypeScriptと違い、aidlc-workflowsの推奨するライブラリがなかったので、prop_checkを入れてみました。

    PBT拡張はスキップしたままだったので、実装が終わったあとに「PBTでやるべきだったことをやって」とAIに投げました。出てきたテストは緑で、レビューも通り、そのままマージしました。

    後から読み返して気づきましたが、ジェネレータが実装をなぞるだけになっていました。一部を挙げます(矢印の左が実装側の判定、右がジェネレータに並んでいた候補です)。

    • 必須項目が空か → "" / nil

    • 形式チェックを通るか → "invalid" / "a@b..c" / "a@-b.com"

    • 日時としてパースできるか → "invalid-date" / ""

    • 数値に変換できるか → 1.5 / "x"

    • 下限を満たすか → 0 / -1

    実装のifひとつひとつに対して、それを引っかけるための値が用意されていました。偶然ではありえない一致です。

    フロントエンドでは「この関数について、入力によらず必ず成り立つことは何か」を自分で考えました。バックエンドでは、問いごとAIに渡しました。そしてAIは実装を読んで、「この分岐を通す入力は何か」に答えました。

    近い問いに見えて、出てくるものは別物でした。前者からは入力空間を探索するジェネレータが出てきて、後者からは分岐を網羅する例の一覧が出てきます。AIに渡してよかったのは「性質を書く作業」まででした。「何を確かめるべきか」まで渡すと、手がかりは目の前の実装しかありません。

    冒頭のPBT拡張が設計工程で性質を明文化させているのは、この順番を守らせるためなのだと思います。実装より先に性質を決めれば、それを埋める材料は要件のほうになります。

    性質は要件由来、入力だけが実装由来

    PBTは「どんな性質を書くか×どんな入力で試すか」の両輪です。
    性質が正しくても、入力が実装をなぞっているだけなら、実装が想定していない入力は永遠に来ません。

    それは「実装が想定した範囲で、実装が想定したとおりに動く」ことの確認であり、exampleテストの定義そのものです。

    レビューでは見えなかった

    このテストもレビューを通していましたが、見ても分からないのです。テストは緑で、コードとしては何もおかしくありません。ジェネレータに並んでいるのは「いかにもありそうな不正値」で、むしろ丁寧に見えます。性質そのものも、要件から導けているものでした。差分を読んで分かることが、ここには何もありません。

    気づくには、「この入力はどこから来たのか」を聞く必要がありました。実装を見て作ったのか、要件を見て作ったのか。テストコードの見た目は、どちらでも同じです。

    前の節で「性質もレビュー対象だ」と書きました。そう書いておきながら、自分は入力のほうを見ていませんでした。両輪と言った片方を、レビューでは見ていなかったわけです。

    入力も、同じようにレビュー対象です。

    まとめ

    この記事を書くにあたって、1ヶ月前のテストを読み返しました。良いのか悪いのかが、すぐには判断できませんでした。入力が実装の写しになっていると分かったのは、調べたあとです。動いていて緑なので、それまで困っていなかったのです。

    見るべきだったのは、緑かどうかではなく、その緑に意味があるかでした。

    おわりに

    現在、movではエンジニアをはじめとして各職種の採用を絶賛強化中です!
    少しでも興味を持っていただけた方は、カジュアル面談でぜひお話しさせてください!
    採用情報はこちら👇


    あなたへのおすすめ