
AIが実装もテストも書くので、Property-Based Testing を入れてみた
株式会社movのエンジニアの日向です。
AIが実装の大部分を書くようになりました。テストもAIが書きます。
ただ、フロントエンドについてはVitestを入れたばかりで、何をどこまで書くかの型がありませんでした。
出てきたテストが妥当なのかを判断する基準もありませんでした。
そんな中、チームで試していたのがaidlc-workflowsです。
AWSが提唱するAI-DLC(AI-Driven Development Life Cycle)という開発方法論をAIに実装させるためのOSSです。
実行していて目に留まったのは「PBT拡張」という仕組みです。有効にすると、設計工程で「満たすべき性質」を成果物として明文化することが求められます。(当時使っていたのはv1で、v2にはないようです)
なぜAI主導の開発プロセスに、わざわざProperty-Based Testing(以下PBT)の枠組みが組み込まれているのか。
調べていくうちに、これはAIにコードを書かせるときの構造的な穴を突いているのだと分かりました。
拡張を有効にするかは別として、この考え方はワークフローと関係なく効くはずだと思い、まずフロントエンドにfast-check、バックエンドにprop_checkを導入しました。
1ヶ月ほど使ってみましたが、まだうまく使えていません。
難しいのは、何をどんな入力で確かめるかを決めるところでした。
書いたテストは緑なのに、あとから読み返したら入力が実装の写しになっていました。実装が想定していないケースを、そもそも試せていなかったのです。
この記事では、PBTを導入してみての詰まりどころをご紹介します。
これからPBTを試してみようと考えている方や、AIにテストを書かせている方の参考になれば嬉しいです。
AIが書いたテストの何が問題か
冒頭に書いた「構造的な穴」から説明します。
まず、従来のテスト(exampleテスト)の性質を確認します。
exampleテストは「この入力ならこの結果」というケースを人が手で列挙します。
この方式には、網羅性が書き手の想像力に依存するという弱点があります。
思いつかなかった入力は永遠にテストされません。
書き手がAIになっても、この弱点はなくなりません。
むしろ悪化する場面があります。
テストを実装から導いたとき、実装の見落としはそのままテストの前提になります。
たとえば「空白除去」の実装で、半角スペースだけを見てタブを考慮し忘れていたとします。このとき、同じ思考でテストを書けば、テストの入力にもタブは出てきません。
結果として「テストは緑だが実装は間違い」という状態が通ります。
しかも厄介なことに、テストは存在しているので、通ってしまったことに気づけません。
必要なのは、実装の思い込みから独立した検証軸です。
実装から導くのではなく、要件から導いた「性質」で縛る。
それがPBTでした。
冒頭のPBT拡張がうまいと思ったのは、この「性質の言語化」を設計工程に組み込んでいる点です。
PBTの本質的なコストは、どんな入力でも成り立つべき性質をどう言葉にするかにあります。
それを設計の成果物として先に確定させてしまえば、テストを書く段階での追加負担がほとんどなくなります。
Property-Based Testingとは
PBTは、exampleテストと発想が逆です。
入力ごとの正解を書く代わりに、「どんな入力でも成り立つべき性質」を1つ宣言し、あとはライブラリが大量の入力を自動生成し、その性質を破る反例を探します。
exampleテストは、入力を人が手で選びます。
「この入力ならこの結果」を1件ずつ書くので、網羅性は書き手の想像力の範囲に収まります。
失敗したときに分かるのも、その1件だけです。
PBTは、入力をジェネレータが作ります。
人が書くのは「どんな入力でも成り立つべき条件」1つだけです。
得意な相手も違います。exampleが具体的な仕様や代表ケースを押さえるのに向いています。一方で、PBTは純粋関数・変換・正規化・パースのように入力の形が決まっているものに強いです。
実用上ありがたいのがshrink(最小化)です。
反例が見つかると、ライブラリがそれを段階的に単純化して、原因が読み取りやすい形まで絞り込んでくれます。
先ほどの「空白除去がタブを消し忘れていた」ケースで言うと、最初に見つかる反例は、"a \t b\n1あ "のような、スペース・タブ・改行が混ざった長い文字列です。これを見せられても、何が原因なのかは分かりません。
shrinkはそこから文字を削りながら、それでも落ちるかを試していきます。
最後に残るのはタブ1文字だけの文字列。
ここまで削られると原因がタブだと読み取れます。
失敗時はseedも出力されるため、同じケースを簡単に再現できます。
フロントエンドに入れてみる
導入をフロントエンドから始めたのには理由があります。
PBT拡張のフレームワーク選定ルールに、言語ごとの推奨が並んでいて、JavaScript / TypeScriptにはfast-checkが挙げられていました。
パイロットとして、文字列変換のユーティリティにPBTを追加しました。
ここでは一番出番の多かった不変条件を例にします。
不変条件:出力が満たすべき条件を、全入力で守る
入力が何であれ、出力が満たすべき条件を表明します。
例として「空白除去の結果に空白が1つも残らない」を挙げます。
// 空白文字を混在させた文字列。不変条件を意味のある形で検証するため
const stringWithWhitespace = fc
.array(fc.constantFrom(' ', '\t', '\n', 'a', 'b', '1', 'あ'))
.map((chars) => chars.join(''))
fc.assert(
fc.property(stringWithWhitespace, (s) => {
expect(/\s/.test(removeAllSpaces(s))).toBe(false)
})
)空白の種類はこちらで与えていますが、それがどの順番で何個並ぶかは書いていません。
"a\t \nb"のような組み合わせをジェネレータが作るので、取りこぼしがあれば反例が出ます。
ジェネレータ次第で、検証は骨抜きになる
ここが、あとで効いてくるところです。
上のジェネレータを使わず、素直にfc.string()と書いたらどうなるか。
この性質は素通りします。
fc.string()の既定は印字可能なASCII相当なので、半角スペースは出ますがタブや改行は生成されないからです(fast-check v4時点)。
実装がタブを消し忘れていても、テストは緑のままになります。
fc.assertと書いてあっても、fc.propertyを使っていても、入力が薄ければ何も検証していません。
空白を意図的に混ぜた専用のジェネレータを用意して、初めて性質が意味を持ちます。
導入コストは小さい
意外だったのは、導入がほぼ無風だったことです。
fast-checkを追加するだけで、Vitestの設定変更は必要ありませんでした。
配置も実行系も既存のテストと同じで、PBTを含めて全件パスしています。
あわせて、PBTの規約(対象の選び方・型・exampleとの併用の線引き)をリポジトリのルールとして明文化し、既存のVitest規約から参照させました。
AIがテストを書く前提だからこそ、書き方の型をAIが参照する場所に書く必要があるという判断です。
特に周知はしていませんでしたが、その後いくつかの機能開発の中で、他のメンバーがPBTを書いているのを見かけました。
落とし穴:性質そのものをレビューする
骨抜きになる原因は、ジェネレータだけではありません。
性質の方にも同じ落とし穴があります。
弱すぎる性質→緑だが無意味
先ほどの空白除去のテストで、「出力は文字列型である」ということしか確認していなかったとします。
この性質は空白が残っていても緑のまま通ります。
テストはあるのに、何も検証していない状態です。
これは冒頭に挙げた「テストは緑だが実装は間違い」がPBTでも起きるということです。
「空白が1つも残らない」のように、壊れたら必ず落ちる性質にする必要があります。
落ちたとき、直すのは実装か性質か
文字列を切り詰める関数が、こういう実装だったとします。
limitより長い入力のときだけ、先頭からlimit - 1文字を取り、末尾に省略記号を足す作りです。
export function truncate(text: string, limit: number) {
if (text.length > limit) {
return text.slice(0, limit - 1) + '...'
}
return text
}性質は「出力は必ずlimit文字以下になる」でしょうか。
fc.assert(
fc.property(
fc.string({ minLength: 20 }), // limit より必ず長い入力にする
fc.integer({ min: 1, max: 10 }),
(text, limit) => {
expect(truncate(text, limit).length).toBeLessThanOrEqual(limit)
}
)
)これは落ちます。省略記号は1文字の三点リーダー(…)ではなく、ピリオド3つ(...)でした。
truncate("abcdefghij", 5)は、7文字の"abcd..."を返します。
切り詰められた出力長は(limit - 1) + 3文字、つまり、limit + 2文字です。
問題は、これが実装のバグなのか性質の間違いなのか、コードを見ても決まらないことです。
limitが「出力の文字数の上限」を意味するなら、実装のバグです。省略記号3文字分を引いていません
limitが「省略記号を1文字と数えたときの文字数の上限」を意味するなら性質のほうが間違いです。本文をlimit - 1文字にして記号を1つ足す、という数え方なら辻褄が合います
コードには手がかりが残っています。limit - 1としているのは、記号1文字分を空けたように見えます。だとすると、後者で「...」(3文字)を使っているのが想定外だったのかもしれません。
ただ、それは推測です。同じコード、同じ失敗で、直す先が変わります。
決められるのは、引数が何を約束しているのかを知っている人間だけです。
exampleテストだと、これに気づけない
ここが重要なところです。同じ関数をexampleテストで書くと、
test('上限を超えたら省略記号を付ける', () => {
expect(truncate('abcdefghij', 5)).toBe('abcd...')
})このテストは通ります。出力が7文字であることには誰も気づきません。
期待値を書くという行為は、実装を動かして返ってきた値を固定する作業になりがちです。つまり、exampleテストは、実装の追認になりやすい。
「limitを5と言ったのに7文字返ってきているが、それでいいのか」という問いは、期待値を1つ書いた時点で消えてしまいます。
冒頭の話につながります。実装を書いたAIがexampleテストも書けば、この問いは最初から生まれません。
PBTのほうは、個別の出力ではなく「入力によらず成り立つこと」を書かせます。「limitは何を約束しているのか」を一度は考えることになります。
ただ、それは考える契機が増えるだけで強制ではありません。
実装を見ながら性質を書けば、PBTでも同じ穴に落ちます。
そして問いが立ったとしても、答えるのは人間です。
性質はコードと同じくレビュー対象です。
「この性質は、実装が壊れたとき本当に落ちるか?」「落ちたとき、直すのは実装か性質か」を問う。これが生命線でした。
裏を返せば、性質をAIに書かせること自体は問題ありません。問題は、人間が目を通さないまま通してしまうことです。
ここまでの2つは説明のために作った例です。
「出力は文字列型である」だけの性質を実際に書く人はいないでしょうし、切り詰めの性質も記事のために考えたものです。
ただ、「テストはあるのに、何も検証していない」が、実際に起きました。しかも性質ではなく、入力のほうで。
バックエンドにも入れてみる
フロントエンドで試したあと、バックエンド(Ruby)にもPBTを追加しました。TypeScriptと違い、aidlc-workflowsの推奨するライブラリがなかったので、prop_checkを入れてみました。
PBT拡張はスキップしたままだったので、実装が終わったあとに「PBTでやるべきだったことをやって」とAIに投げました。出てきたテストは緑で、レビューも通り、そのままマージしました。
後から読み返して気づきましたが、ジェネレータが実装をなぞるだけになっていました。一部を挙げます(矢印の左が実装側の判定、右がジェネレータに並んでいた候補です)。
必須項目が空か → "" / nil
形式チェックを通るか → "invalid" / "a@b..c" / "a@-b.com"
日時としてパースできるか → "invalid-date" / ""
数値に変換できるか → 1.5 / "x"
下限を満たすか → 0 / -1
実装のifひとつひとつに対して、それを引っかけるための値が用意されていました。偶然ではありえない一致です。
フロントエンドでは「この関数について、入力によらず必ず成り立つことは何か」を自分で考えました。バックエンドでは、問いごとAIに渡しました。そしてAIは実装を読んで、「この分岐を通す入力は何か」に答えました。
近い問いに見えて、出てくるものは別物でした。前者からは入力空間を探索するジェネレータが出てきて、後者からは分岐を網羅する例の一覧が出てきます。AIに渡してよかったのは「性質を書く作業」まででした。「何を確かめるべきか」まで渡すと、手がかりは目の前の実装しかありません。
冒頭のPBT拡張が設計工程で性質を明文化させているのは、この順番を守らせるためなのだと思います。実装より先に性質を決めれば、それを埋める材料は要件のほうになります。
性質は要件由来、入力だけが実装由来
PBTは「どんな性質を書くか×どんな入力で試すか」の両輪です。
性質が正しくても、入力が実装をなぞっているだけなら、実装が想定していない入力は永遠に来ません。
それは「実装が想定した範囲で、実装が想定したとおりに動く」ことの確認であり、exampleテストの定義そのものです。
レビューでは見えなかった
このテストもレビューを通していましたが、見ても分からないのです。テストは緑で、コードとしては何もおかしくありません。ジェネレータに並んでいるのは「いかにもありそうな不正値」で、むしろ丁寧に見えます。性質そのものも、要件から導けているものでした。差分を読んで分かることが、ここには何もありません。
気づくには、「この入力はどこから来たのか」を聞く必要がありました。実装を見て作ったのか、要件を見て作ったのか。テストコードの見た目は、どちらでも同じです。
前の節で「性質もレビュー対象だ」と書きました。そう書いておきながら、自分は入力のほうを見ていませんでした。両輪と言った片方を、レビューでは見ていなかったわけです。
入力も、同じようにレビュー対象です。
まとめ
この記事を書くにあたって、1ヶ月前のテストを読み返しました。良いのか悪いのかが、すぐには判断できませんでした。入力が実装の写しになっていると分かったのは、調べたあとです。動いていて緑なので、それまで困っていなかったのです。
見るべきだったのは、緑かどうかではなく、その緑に意味があるかでした。
おわりに
現在、movではエンジニアをはじめとして各職種の採用を絶賛強化中です!
少しでも興味を持っていただけた方は、カジュアル面談でぜひお話しさせてください!
採用情報はこちら👇