その報告は正確で、そして安心させすぎる ── 集計が真実を消す

※音声入力を試してますので、文体が普段と違います

1986年と古い話ですが、腎臓結石の治療成績を比べた論文が英国の医学誌に載っているんですけど、不思議だなと思ったのと、考えていくなかで、日々の仕事に活かせそうだなと思ったので、記事にしました。

比べているのは、開腹手術と、経皮的腎砕石術です。ざっくり言うと、お腹を切って石を取り出す、背中から細い管を入れて石を砕いて出す、みたいなことみたいです。

この二つを全患者で比べると、経皮的腎砕石術のほうが成績がいい。成功率83パーセント対78パーセントです。

でも、結石の大きさで患者を二つに分けると違う結果になる。

小さい結石の患者では、開腹手術が93パーセント、経皮的腎砕石術が87パーセント。大きい結石の患者でも、73パーセント対69パーセント。どっちの層でも、開腹手術のほうが成功率は高い。

小さい患者でも勝って、大きい患者でも勝っているのに、足すと負けている。

種明かしになるのは患者の内訳です。

経皮的腎砕石術は、小さい結石を270人、大きい結石を80人。開腹手術は、小さい結石を87人、大きい結石を263人。同じ350人ずつなんですけど、中身が逆なんですよね。

つまり、経皮的腎砕石術は治りやすい患者を多く診て、開腹手術は治りにくい患者を多く診ていた。その状態で合計だけ並べると、軽症をたくさん診たほうの平均が上がります。

一人ずつ比べれば開腹手術のほうが強いのに、患者の偏りが合計を逆にしてしまうという、数字に弱い自分からすると、理解に時間がかかる話でした。

統計学ではシンプソンのパラドックスと呼ばれるとのことです。

取締役会に届くまでに、報告は何回も足されている

で、ここからが仕事につながる話です。

取締役会や各種委員会に上げるリスク・コンプラ系の数字には研修の受講率とか内部監査の指摘件数、是正措置の進捗とかありますけど、これらも集約した数字・情報です。

課で集約されて、部で集約されて、本部で集約されて、最後に全社集約。そのたびに要約される。経営陣が見ているのは、集約を何度も通ったあとの数字です。

腎臓結石の話が示しているのは、集計という操作それ自体が結論を変えうる、ということでした。

悪意でも計算違いでもなく、構造として起きます。

読んでいたCompliance Week 誌のグレン・オボーン氏（ガバナンス領域の人材紹介とコンサルティングをやっている Ingen Partners という会社のディレクターの方）のコラムがつながるなと思いました。

報告が正確で、よくできていても、なお取締役に自信を持たせすぎることがある、という指摘から始まります。数えやすい・捉えやすいものが前に出て、不確実性とか、繰り返している失敗とか、担当があいまいな、定性的な課題はどうしても認識から漏れる。

「やった」は「効いた」の代わりではない

集計の歪みがいちばん分かりやすく出るのは、KPIだと思います。

研修の受講率が98パーセント。これは98パーセントの人がコースを終えたことを示していて、理解したかどうかではない。異常に気づけるかも、気づいたときに言えるかも、示していない。つまり研修の効果があるかどうか示していない。

是正措置が「完了」。これは予定した作業が終わったことは示してますが、問題の原因が本当に解決したかは別の話。

実施したか・機能したか・リスクは減ったかで区分しないといけないと考えています。

なのに多くの報告は、一つ目の答えを、二つ目と三つ目の答えとしても使っている。実施率が高いことで、そのまま機能しているという誤認になってしまう。

要約した人は、隠しているわけではない

情報を要約して上げるのって効率を考えて、やって当たり前の意識でやられているんですよね。取締役会の時間は有限だし、全部を生のまま上げたら、かえって何も見えない。

地図と同じですね。縮尺を上げたら、ちょっとした畦道・小道は消えるけど、手抜きではなくて、読みやすくしようとしているだけ。

その分、隠れてしまった情報に気づくのは大変です。推理小説で、もっとも犯人らしくない人が犯人的な。ちょっと違うかもですが。

対応策

オボーン氏は、取締役会が使える問いを挙げています。並べるとこうなります。

• 要約の過程で、何が削られたか

• 機能しているという、客観的な証拠は何か

• それは活動の指標か、変化の指標か

• 同じ失敗が、繰り返されていないか

• 検証されていない前提は、何か

• 独立した検証の前に「完了」とされたものは、ないか

六つとも、聞かれたら答えに詰まる問いだと思います。というか、こんな問い方をしてもすっと答えが出るわけがないので建設的ではないなとも思います。ちょっと意地悪なかんじもしますね。

ただ、このなかでも、特に1つ目の要約過程で落としたものは、そこに見えてない情報なので、意識的に気をつけてないと誰も気づかない可能性が高いので、なにかしらの仕組みが必要かなと思います。今日は時間がなく、そこまでたどり着けない感じですが。。。

まずは自分自身のあり方として、まとめ方で結論が変わりうるので、改めて気をつけねばなと思いました。

かなり素朴なまとめになってしまいましたが。。。

お知らせ

記事は、メール・音声・動画でも届けています。

☀️ ニュースレター『コンプライアンスの地図』(平日毎朝『朝3分の分岐点』つき。毎号、noteに書かなかった編集後記も):

🎧 ポッドキャスト『BookSide』(中央経済社の編集者と、実務の話を):

▶️ YouTube「コンプライアンスの地図」(記事の音声版): 出典

• Charig CR, Webb DR, Payne SR, Wickham JE "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy", British Medical Journal, 1986年3月29日 ── 開腹手術は小さい結石81/87(93%)・大きい結石192/263(73%)・合計273/350(78%)。経皮的腎砕石術は小さい結石234/270(87%)・大きい結石55/80(69%)・合計289/350(83%)。

• Glenn Oborne "When compliance reporting creates false assurance", Compliance Week ── 取締役会向け報告が「偽りの安心」を生む構造と、取締役会が使える問い。著者はIngen Partners のディレクター。https://www.complianceweek.com/best-practices/when-compliance-reporting-creates-false-assurance/