
試作品は廃止された。それでもPoCは「成功」だった。「先勝後戦」から考えるAI実証
英国政府が試した生成AIのプロトタイプは、PoC終了後に廃止されました。
それだけ聞くと、少し妙な感じがします。
せっかく作ったものを捨てたのなら、そのPoCは失敗だったのではないか。
ところが英国労働年金省(DWP)は、このPoCを「successfully completed」、つまり成功裏に完了したものとして説明しています。
廃止されたのに、成功。
では、PoCの「成功」とは何なのでしょうか。
AIの精度が高かったことでしょうか。本番システムまで進んだことでしょうか。それとも、作ったものがそのまま使われ続けることでしょうか。
孫子には、こんな言葉があります。
勝兵先勝而後求戰、敗兵先戰而後求勝。
勝つ軍は、先に勝てる条件を整えてから戦う。敗れる軍は、先に戦いを始め、戦いながら勝とうとする。
これをAI PoCにそのまま当てはめるつもりはありません。
ただ、「始めてから勝ち方を探さない」という構造だけを借りてみると、AI実証の見え方が少し変わります。
PoCを始める前に決めるべきなのは、「成功する答え」ではありません。
何を確かめれば、次の判断ができるのか。
そこを先に考えておくことです。
本番化されなければ、PoCは失敗なのか
DWPが行ったPoCは「A-cubed」と呼ばれるものでした。
Universal Creditに関わるWork Coachが、業務上必要なguidanceを探す際に生成AIを利用できるか。そのfeasibility、つまり実現可能性を確かめるための取り組みです。
政府の説明では、このPoCはsuccessfulに完了しています。
一方で、A-cubedのプロトタイプ自体は廃止されました。
ここだけ切り取ると、やはり少し引っかかります。
成功したのに、なぜ捨てるのか。
ただ、政府はプロトタイプを廃止すること自体をPoCではstandard practiceと説明しています。そしてA-cubedから得られたlearningは、その後の「DWP Ask」に引き継がれました。
つまり、A-cubedという試作品がそのまま生き残ったわけではありません。
残ったのは、そこで得た知見です。
この事例から少なくとも言えるのは、PoCの成功と、プロトタイプがそのまま本番へ残ることは同じではないということです。
そもそもPoCは、完成品を作るためだけに行うものではありません。
技術的に可能なのか。業務で使えるのか。利用者は受け入れられるのか。運用上の問題はどこにあるのか。そもそも、この用途にAIを使う意味があるのか。
分からないことを確かめるために行う場合もあります。
その結果、「このまま進めない方がよい」と分かることだってあります。
そこでプロトタイプが消えたから失敗、と決めてしまうと、PoCで本来得たかったものまで見えなくなります。
孫子は「まず戦え」とは言わなかった
ここで、先ほどの孫子へ戻ります。
勝兵先勝而後求戰、敗兵先戰而後求勝。
この一節だけを見ると、「勝てると分かってから戦え」という話にも読めます。
でも、その少し前にはこうあります。
昔之善戰者、先爲不可勝、以待敵之可勝。
不可勝在己、可勝在敵。
勝可知、而不可爲。
自分が崩れない条件は、自分で整えられる。
一方で、相手の側にある条件まで、自分ですべて作ることはできない。
勝てるかどうかを見極めることと、勝利そのものを自分で保証することは違う。
そんな流れです。
ここが面白いところです。
「先勝」という言葉からは、どうしても「絶対に勝てる状態を先につくる」という強い印象を受けます。
けれど、未来を完全にコントロールできる、と言っているわけではありません。
自分で整えられるところを整え、判断できる状態をつくったうえで戦う。
古注でも、曹操は「有謀與無慮也」、李筌は「計與不計也」としています。事前に考えるか、考えずに進むか。その違いです。
張預の注には「不謀而進、欲幸其成功」とあります。
考えずに進み、偶然うまくいくことを期待する。
なかなか耳の痛い言葉です。
AI PoCでも、似た状態は起こります。
とりあえず触ってみよう。まずプロトタイプを作ろう。精度が出るか見てみよう。
それ自体は悪くありません。AIは、実際に試さなければ分からないことが多いからです。
問題は、そのあとです。
数字が出て、精度は82%だった。応答も速かった。デモもちゃんと動いた。
そこで初めて、「で、これは成功なんだっけ?」となる。
戦い始めてから、勝ちの意味を探している状態です。
モデルは高性能だった。でも、何を良くしたかったのか
RANDがAI・機械学習の専門家65人に行った調査では、AIプロジェクトがうまくいかない要因として、解くべきproblemの誤解、data不足、利用者のproblemより新しいtechnologyを優先すること、infrastructure不足、そもそもAIには難しすぎるproblemを選ぶことなどが挙げられています。
中でもPoCを考えるうえで気になるのは、
model metricが、実際のbusiness objectiveにとってのsuccessを表していない
という問題です。
AIの精度が上がった。
それ自体は、もちろん良いことです。
ただ、その精度は何のためだったのでしょう。
問い合わせ対応の時間を短くしたかったのか。確認作業を減らしたかったのか。利用者が必要な情報にたどり着きやすくしたかったのか。ミスを減らしたかったのか。
目的が違えば、見る数字も変わります。
極端な話、モデルの精度が非常に高くても、使うたびに人が長時間確認しなければならず、結果として業務が遅くなるなら、「仕事が良くなった」とは言いにくい。
逆に、モデル単体では多少の誤りがあっても、人の確認を前提にすることで業務全体が大きく改善するケースも考えられます。
だから、モデルが良く動くことと、仕事が良くなることは分けて考えた方がいい。
高精度でも、仕事が良くなるとは限らない
英国政府のAI Playbookでは、AIの評価においてmodel metricsとservice metricsを分けて考えています。
model metricsは、技術そのものがどれだけ正しく動いているかを見るものです。たとえばAccuracy、False positive、False negative、Latencyなどです。
一方、service metricsでは、利用者のニーズやbusiness goalが達成されたかを見る。Task completion、業務時間、利用者のtrust、実際のbusiness outcomeといったものです。
同じAIでも、見ているものが違います。
回答精度が高いことと、利用者が正しく仕事を終えられること。応答が速いことと、業務全体が速くなること。自動化率が高いことと、人の確認まで含めて負担が減ること。デモが完成したことと、本番環境で安全に運用できること。
似ているようで、全部少しずつ違います。
さらに厄介なのが、比較する相手です。
AI導入後に「1件3分で処理できるようになりました」と言われたとします。
以前10分かかっていたなら、大きな改善です。でも、もともと2分だったなら、むしろ悪化しています。
3分という数字だけでは、良くなったのか分かりません。
だから、AI Playbookでもprojectの初期にexisting processやpain points、user needs、baseline metricsを把握することが勧められています。
PoC後の数字だけでは、改善したかは分からない。
何と比べるのか。
そこも、始める前に持っておく必要があります。
PoCを始める前に、6つの問いを置く
では、実際にPoCを始める前に何を考えておけばよいのでしょう。
ここでは、6つの問いに整理してみます。
公式なframeworkではありません。PoCが終わったあとに「で、どうする?」とならないための、意思決定のための問いです。
1.何を確かめるPoCなのか
最初に決めたいのは、そもそも何を知りたいのかです。
技術的に実現できるか。業務効果があるか。利用者が受け入れるか。運用上のriskが許容できるか。投資して本番化する価値があるか。
全部を一度のPoCで確認する必要はありません。
むしろ、「今回は何を確かめるのか」が曖昧なまま始める方が危ない。
PoCが終わったとき、何が分かっていれば、この実証をやった意味があるのか。
まずここです。
2.何と比較するのか
次にbaselineです。
現在の業務、AIを使わない方法、rule-basedな仕組み、検索機能の改善、UI改善など、比較対象がないと、AIが動いたことは分かっても、AIを使う意味までは分かりません。
問うべきなのは「AIを使った結果が良かったか」だけではなく、**「何より良かったのか」**です。
3.技術として何を見るのか
ここでようやく、精度や性能の話が出てきます。
Accuracyだけでなく、誤り方はどうか。Latencyはどうか。同じ入力に対して安定しているか。Edge caseではどうなるか。実際の利用量に近づけたときに性能が落ちないか。
NHS.UKのAI moderation事例でも、confusion matrix、false positive、false negative、human review、realistic data volume、latency、throughputなど、複数の観点から確認しています。
精度一つですべてを代表させない。
これはかなり大事です。
4.業務・利用者として何を見るのか
次は、AIではなく仕事を見る問いです。
業務時間は減ったか。Task completionは改善したか。人へのhandoffはどう変わったか。Human reviewの負荷はどうか。利用者は安心して使えるか。
AIが良く動いた結果、仕事は本当に良くなったか。
ここを見ないままモデルの数字だけ眺めていると、AIの評価はできても、導入判断はできません。
5.本番へ進むには何が必要か
PoC環境で動くことと、本番環境で使えることも違います。
Data supplyは継続できるか。既存システムとintegrationできるか。Authorizationはどうするか。Loggingやmonitoringはできるか。誰がmaintenanceするか。AIが判断できないとき、人がどこで介入するか。問題が起きたとき、誰が責任を持つか。
NIST AI RMFでも、deploymentに近いconditionでperformanceやassurance criteriaを確認することや、generalizationの限界をdocumentすることが扱われています。
つまり、「PoCでは動きました」だけでは足りない。
実証で分かったことが、どこまで通用するのか。
その範囲まで見ておく必要があります。
そして、riskもあります。高精度でも、privacyやsecurity、fairness、safety、governanceの観点で残るriskが受け入れられなければ、本番へ進まない判断もあり得ます。
性能が高い。だから進む。
そんなに単純ではありません。
6.結果ごとに、次に何をするのか
最後が、たぶん一番重要です。
PoCが終わったあと、成功か失敗かの二択だけにしない。
本番へ進む。少し修正して再検証する。Use caseを狭める。別のsolutionへ切り替える。AIを使わない方法を選ぶ。一度止める。プロトタイプは廃止し、learningだけ次へ渡す。
NIST AI RMFのMANAGEでも、評価結果をcontinue、scale、mitigate、avoid、decommissionといった次の判断へつなげていきます。
PoCは、測定して終わるためにあるのではありません。
測るためのPoCではなく、決めるためのPoCにする。
そう考えると、見るべきものが変わってきます。
「やめる」という結果も、PoCの成果になり得る
PoCをやった。でも、本番化しなかった。
すると、「失敗したPoC」と呼びたくなることがあります。
もちろん、本当に設計や進め方に問題があったケースもあるでしょう。
ただ、本番化しなかったという事実だけで失敗とは言えません。
実際に試したことで、この条件では精度が足りない、運用コストが高すぎる、riskを許容できない、利用者にとってAIより別の方法の方がよい、と分かったのであれば、それは重要な情報です。
導入しない方がよいと分かったことも、PoCが減らした不確実性の一つです。
A-cubedでも、プロトタイプそのものは残りませんでした。それでも、そこで得られたlearningは次のDWP Askへ移っています。
何を作ったかだけを見ると「廃止」です。
でも、何が分かったかを見ると、景色が変わります。
PoCの成果をプロトタイプの寿命だけで測ると、学習と意思決定という役割を見失います。
先に決めるのは「答え」ではない
ここまで書くと、「では、PoCを始める前にKPIも条件も全部固定すべきなのか」と思うかもしれません。
それも違います。
AIには不確実性がありますし、試してみなければ分からないこともあります。むしろ、それを確かめるためにPoCを行います。
最初にすべての答えを決めてしまったら、実証する意味が薄れてしまいます。
先に決めたいのは、正解ではありません。
何を確かめたいのか。何を観察するのか。何と比べるのか。何が分からない可能性があるのか。結果がこうだったら、次に何をするのか。
そうした問いです。
NIST AI RMFでは、重要なriskに対応するmeasurement approachやmetricsを選ぶだけでなく、測らないもの、測れないものもdocumentする考え方があります。
これはPoCでも重要です。
この実証で何が分かるのか。そして、何はまだ分からないのか。
そこまで含めて結果を読む。
PoC一回ですべてを決める必要はありません。
ただ、何も決めずに始めて、数字が出てからその数字の意味を考えるのは避けたい。
結果が出てから、勝ちの意味を探さない
もう一度、孫子へ戻ります。
勝兵先勝而後求戰、敗兵先戰而後求勝。
これを現代のAI実務に構造だけ借りるなら、「先勝後戦」は未来を予言することではありません。
結果を判断できる状態を、自分たちで先につくること。
そんなふうに読むことができます。
AI PoCは、未来を当てるために行うものではありません。実際に試して、分からなかったことを減らすために行います。
その結果、本番へ進むかもしれないし、少し直すかもしれない。用途を狭めるかもしれませんし、別の方法を選ぶこともある。試作品を捨てて、学びだけを次へ渡すことだってあります。
どの結論になるかは、やってみないと分からない。
だからこそ、始める前に考えておく。
成功するはずだ、ではなく。
何が分かれば、次の判断ができるのか。
PoCで先に決めるべきなのは、「成功する答え」ではありません。
何を確かめ、何と比べ、その結果を使って次にどう判断するのか。
そこまで設計して、初めて実証を始める。
それが、AI PoCにおける「先に勝つ」ということなのかもしれません。
次に読む記事
AIを試す前に、何を確かめるべきなのか
生成AIのPoCでは、まずプロトタイプを作ることよりも、「何を検証し、その結果で何を判断するのか」を整理しておくことが重要です。
生成AIを業務へ導入するとき、PoCで確認しておきたい論点を別の角度から整理しています。
AIで仕事が速くなっても、会社全体が速くなるとは限らない
モデルの精度や処理速度が上がったとしても、それだけで業務全体が改善するとは限りません。
AI単体の性能ではなく、レビュー、承認、待ち時間まで含めて仕事全体を見る必要がある理由を考えます。
AIが作れる時代に、人は何を設計するのか
生成AIによって「作る」コストが下がるほど、人に残るのは、何を作るか、何を確認するか、どこまで任せるかを設計する仕事です。
AI時代に人が担う判断と設計について整理しています。
生成AIの業務活用について相談する
生成AIのPoC、業務利用の検討、評価指標や運用条件の整理など、AIを「試す」段階から「次の判断につなげる」段階まで課題がある場合は、ディーシステムへご相談ください。