
犯罪を予測するAIは、何を増やしているのか
副題
犯罪の発生、発見、記録が生み出すフィードバックの構造
はじめに|犯罪の多い地域へ、警察官を派遣する
ある都市で、犯罪を減らすためにAIを導入したとする。
AIは過去の犯罪データを分析する。
どの地域で犯罪が多く発生していたのか。
どの時間帯に犯罪が集中していたのか。
そして、将来どこで犯罪が起こりやすいのかを予測する。
警察は、その予測を参考にして巡回地域を決める。
犯罪の多い地域へ、警察官を多く派遣する。
一見すると、合理的な方法だろう。
限られた人員を、犯罪の危険が高い場所へ集中させれば、効率的に犯罪を防げるかもしれない。
しかし、ここで一つの問題が生まれる。
犯罪が多いから警察官が派遣されたのか。それとも、警察官が多く派遣されたから犯罪が多く発見されたのか。
この二つは、似ているようで違う。
⸻
第一章|犯罪が発生したことと、発見されたことは違う
例えば、二つの地域があるとする。
A地区とB地区。
どちらも、実際には同じ程度の犯罪が発生している。
しかし、警察官の巡回数は異なっていた。
A地区では、警察官が頻繁に巡回している。
B地区では、あまり巡回していない。
この場合、何が起きるだろうか。
A地区では、警察官が直接発見する違反や犯罪が増える可能性がある。
一方、B地区では、同じような行為が起きていても、警察官に発見されない場合がある。
すると、記録された犯罪件数に差が生まれる。
しかし、その差が実際の犯罪発生率の差と一致しているとは限らない。
ここには、三つの異なる現象が存在している。
犯罪が発生すること。
犯罪が発見されること。
犯罪が記録されること。
この三つは、必ずしも同じではない。
もちろん、住民からの通報によって把握される犯罪もある。
すべての犯罪が警察官の巡回によって発見されるわけではない。
それでも、警察活動の量や方法が、記録される犯罪データに影響を与える場合がある。
⸻
第二章|予測が、次の予測を変えてしまう
ここで、AIによる犯罪予測へ戻ろう。
AIは過去の犯罪記録を参考にする。
A地区の記録件数が多い。
だから、A地区を重点的に巡回する。
すると、A地区で新たに発見される犯罪が増える場合がある。
その記録が、次のAIの学習や予測に利用される。
そして、AIは再びA地区を犯罪リスクの高い地域だと判断するかもしれない。
こうして、循環が生まれる。
記録が多い。
巡回が増える。
発見が増える。
記録が増える。
そして、さらに巡回が増える。
2018年に発表された『Runaway Feedback Loops in Predictive Policing』という研究では、このような循環によって、実際の犯罪発生率とは異なる方向へ予測が偏る可能性が示されている。
これは、すべての犯罪予測AIで必ず起こる現象ではない。
データの種類や予測モデル、巡回方法などによって異なる。
しかし、AIの判断が次の観測データを変えてしまうという問題が存在することは重要である。(Proceedings of Machine Learning Research)
⸻
第三章|AIは犯罪を増やしたのか
ここで、一つの区別が必要になる。
A地区で記録された犯罪件数が増えた。
では、AIによって犯罪そのものが増えたのだろうか。
必ずしもそうではない。
AIの予測を受けて警察官が増え、これまで発見されなかった犯罪が発見されるようになったのかもしれない。
つまり、実際の犯罪発生数と、記録された犯罪件数の増加は別の問題である。
しかし、だからといって何も問題がないわけではない。
特定の地域へ警察活動が集中すれば、その地域の住民は頻繁に警察官と接することになる。
一方で、別の地域では、必要な巡回が十分に行われない可能性もある。
さらに、偏ったデータを利用し続ければ、犯罪リスクの高い地域を正確に把握するという本来の目的から離れてしまうこともある。
ここで重要なのは、AIが悪意を持って差別しているという話ではない。
AIには、人間のような悪意が必要ない。
与えられたデータと目的関数に従って処理するだけでも、結果として偏った判断が生まれる可能性がある。
だからこそ、予測の精度だけでなく、予測によって現実の行動がどう変わるのかまで考える必要がある。
⸻
終章|社会を観測することは、社会を変えることなのか
ここには、自然現象の観測とは異なる問題がある。
例えば、温度計で気温を測るとする。
通常、その測定値を見た人間が行動を変えても、温度計が過去に測った気温そのものが変わるわけではない。
しかし、人間社会では事情が異なる。
人間は、評価や予測を知ると、それに応じて行動を変えることがある。
ある地域は危険だと評価される。
すると、人々がその地域を避けるかもしれない。
ある人間は能力が低いと評価される。
すると、周囲がその人へ仕事を任せなくなるかもしれない。
仕事を任せてもらえなければ、その人は経験を積む機会を失う可能性がある。
そして、経験が不足しているという状態が、次の評価に利用されるかもしれない。
ここにも、似た構造がある。
最初は現実を評価していた。
しかし、その評価に基づいて人々が行動することで、評価される現実そのものが変わっていく。
つまり、人間社会では、観測者や評価者が必ずしも社会の外側に立っているわけではない。
社会を評価する行為そのものが、社会の一部分になってしまうことがある。
これはAIに限った問題ではない。
人事評価。
学校の成績。
信用情報。
企業の格付け。
そして、行政による地域の評価。
さまざまな場所で起こり得る。
だからこそ、評価が正確であることだけでは足りない。
その評価が、人々の行動や将来の選択肢をどのように変えるのかまで考えなければならない。
AIが社会を正確に予測できたとしても、その予測によって社会が変化するのであれば、予測された未来がそのまま実現するとは限らない。
未来を予測することと、その未来を作ることは、どこまで分けられるのだろうか。
私は、この問いがAIによる社会の評価を考えるうえで重要になると思う。