
同じ場所を、七回差し戻された安全装置
(この連載はAIが書き、社長が検収しています。実際にあった出来事だけを書いています)
コードが描けないひとり社長のリアルアプリ開発日記(第6部・第3回)
この回の要点(3行)
危ない操作を止める安全装置の「誤検知」を直す作業が、7回も差し戻されました
原因は、性質が違う二つの判断を、同じ一つのルールでまとめて処理していたことでした
「見逃す害」と「止めすぎる害」を分けて考え直し、いまは実際の記録を見ながら様子をみています
本記事はAIが書き、社長が検収してから公開しています。
番頭AIには、危ない操作を自動で止める安全装置が組み込まれています。ところが、この安全装置自体にも不具合はあります。ある時期、この不具合の修正が、何度直しても直しきれない状態になりました。
直しても直しても、同じ場所で止められる
問題は「誤検知」でした。本来は問題ない普通の操作なのに、安全装置が「危ない操作かもしれない」と判定して止めてしまう現象です。この誤検知を減らす修正が7回にわたって行われましたが、そのたびに別の場所で新しい問題が見つかり、差し戻しが続きました。
「両方に同じルール」が間違いだった
何度目かの見直しで、根本的な原因が分かりました。安全装置には大きく二種類の判断があります。一つは、秘密の情報や本当に危ない命令を「止める」判断。もう一つは、危なくなさそうな操作を「通していいか確認する」判断です。この二つは、間違えたときの重さがまったく違います。「止める」判断で見逃せば実害につながりますが、「確認する」判断で誤って止めすぎても、手間が増えるだけです。ところが、修正の途中で、誤検知を減らすための工夫を、この二種類の判断に一律にかけてしまっていました。見逃しの害が大きい方まで、うっかり緩めてしまっていたのです。
経路を分けたら、七巡目で収まった
この気づきをもとに、二つの判断を別々の経路として扱い直しました。「止める」判断のほうは、多少誤検知が増えてでも見逃さない方向に厳しく保ち、「確認する」判断のほうだけを、誤検知を減らす工夫の対象にしました。
ここで一つ、書いておきたいことがあります。テストは、7回の差し戻しのあいだ、実はずっと「百数十件すべて緑」のままでした。差し戻しになった原因は、テストが赤くなって見つかったのではなく、そのつど別の確認で見つかっていたのです。「テストが緑だから直っている」というのは、思い込みでした。緑は「これまで試した範囲では壊れていない」ことしか教えてくれません。経路を分けた直しを入れたあとも、私たちはすぐに「収まった」とは言わず、しばらくは実際の記録を見ながら様子をみる、という進め方にしました。
七回も差し戻しが続いた理由を振り返ると、直すたびに「誤検知を減らしたい」という一つの目的だけを見て、その工夫がどこまで及ぶかを確かめずに広げていたことに尽きます。目的が一つでも、効かせる範囲まで一緒に考えないと、思わぬところに副作用が出る。今回はその副作用が、たまたま安全に関わる場所だったので、七回という回数をかけてでも気づけたことは、結果としては良かったと感じています。
いま、実際にこう使っています
いまは、安全装置の修正を頼むとき、最初に「これは見逃しの害が大きい判断か、止めすぎの害が大きい判断か」を確認してから直してもらうようにしています。同じ直し方を両方に当てはめない、というのが合言葉になりました。
ビフォー: 誤検知の修正を頼むたびに、直したはずの場所で別の問題が出て、何度も差し戻していました
アフター: 「見逃す害」と「止めすぎる害」、どちらが重い判断かを先に分けてから直してもらうようになりました
まとめ
この章で気づいたこと
□ 誤検知の修正は、性質の違う判断を同じルールで処理していると、いつまでも収まらない
□ 「見逃す害」と「止めすぎる害」、どちらが重いかは判断ごとに違う
□ テストが緑であることは「これまで試した範囲で壊れていない」ことしか教えてくれない。緑を「直った証拠」にはできない
改善できたこと
□ 二種類の判断を別の経路に分けて、それぞれに合った直し方をした
今後の課題
□ 経路を分けた直しを入れたあとも「収まった」と言い切らず、しばらくは実際の記録を見ながら様子をみている段階です
あなたにもできます。
何度も同じ場所で修正が差し戻されるときは、「その判断は、間違えたときにどちらの害が大きいか」を先に整理してみてください。
この症状のとき、こうする
症状: 不具合の修正を何度頼んでも、同じ場所で別の問題が出て差し戻しが続く
対処: いったん直すのをやめて、「この処理には性質の違う判断が混ざっていないか」を確認してください。混ざっている場合は、判断ごとに経路を分けてから、それぞれに合った直し方を考えると収まりやすくなります
この回が効く人・関連回
□ 効く人: AIに任せている自動チェック・自動判定の精度に悩んでいる人
□ 関連回: 第6部・第7回「『見つからない』を『無い』と言わない、もうひとつの理由」(近日公開)
52歳・非エンジニア・ひとり社長が、AIと一緒にアプリを作る日々を記録しています。
【相談窓口】30分・無料で聴きます。AIをどう使っているか、うちの会社でも同じことができるか——気になることを聴かせてください。売り込みはしません。ご希望は、この記事のコメントか note のメッセージでどうぞ。