メインコンテンツへスキップ
見出し画像

AIの間違いが減れば、確認は楽になるのか~「任せる」と「明け渡す」の分かれ目~

    最近、Addy Osmaniさんの「Critical thinking when agents do the work」を読みました。OsmaniさんはClaude Codeに関わるエンジニアで、エージェントを使う働き方に賛成の立場です。

    原文にも、エージェントの利用を減らせという意図ではない、という断りがあります。

    面白かったのは、「モデルが賢くなって間違いが減れば、人の確認の負担も減る」という常識を逆から読んでいるところです。間違いが減るほど、出力は読みやすく正しそうに見え、人は確かめなくなる、という主張です。

    この記事では、AIに仕事を渡す三つの段階を整理します。そのあと、確認を続けるための習慣と、最後まで手放せない責任の話へ進みます。

    【発端】 間違いが減るほど、確認のきっかけが消える

    確認が難しくなる原因は、間違いの多さではなく、間違いが目立たなくなることです。

    画像
    確認を支えていたのは、おかしいと気づくことだった

    以前は、質問してから答えが返るまでの間に、考える時間がありました。いまその間は数秒です。

    モデルが良くなると、明らかな誤りの割合は下がります。出力の多くは、よく書けていて、おおむね正しく、見直したくなる引っかかりがありません。

    エージェントを何本並べても、出力を見る目は一組です。しかも速くて心地よい答えは、気を緩める理由にもなります。

    前回の記事では、同じ著者の「The Code Nobody Reads」を取り上げました。全行を読まないコードを何で信頼するか、というレビューの設計の話でした。

    今回はその手前にある、人の側の判断力の話です。

    【基礎】 結論を誰が持つかで分ける三段階

    AIに仕事を渡すことは問題ではありません。出力が自分の結論になってしまうことが問題です。

    画像
    分けるのは、AIに渡した量ではなく、結論の持ち主

    原文は、AIとの付き合い方を三段階で説明します。

    任せる

    • AIの出力の扱い:仮説として受け取る

    • 結論の持ち主:自分

    預ける

    • AIの出力の扱い:次の入力として使う

    • 結論の持ち主:曖昧になり始める

    明け渡す

    • AIの出力の扱い:そのまま自分の結論になる

    • 結論の持ち主:実質的にAI

    原文では「任せる」をcognitive offloading、「預ける」をdeferral、「明け渡す」をcognitive surrenderと呼んでいます。Osmaniさん自身、「任せる」は一日中やっていて、読者にも勧めています。

    「明け渡す」は、WhartonのSteven ShawさんとGideon Naveさんの用語です。Osmaniさんが別の記事で紹介した範囲では、3つの実験に1,372人が参加し、AIが誤っていた試行の約73%で誤答を受け入れました。

    認知的明け渡しの解説によると、AIを使えると自信まで上がったそうです。

    段階の移動は、気づかないうちに起きます。前の答えをよく読んだので、次は流し読みします。

    その次は骨組みだけ見ます。ある日、ある行について聞かれて、エージェントの助けを借りても説明できません。

    その時点で結論の持ち主はAIです。

    手放してよい場面と、手放さない場面

    区切りは、取り返しがつくかどうかです。原文の例では、似た評価のホテル3軒から録画場所を選ぶ判断を、OsmaniさんはAIに任せ、今後も同じようにするそうです。

    一方で、お金の運用、子どもの進路、何を作るか、利用者に何が及ぶか、出荷して安全か、は任せません。結果を他人が引き受ける場面では、推論を自分の手元に残します。

    画像
    任せる量ではなく、間違えたときの行き先で決める

    【違い】 検出しやすい誤りを前提にした常識

    人の確認は「おかしい」と気づくことに支えられていて、その支えが薄くなっています。

    画像
    間違いの量ではなく、確認の動機が変わる

    従来の見方は、AIの間違いが減れば確認する量も減る、というものでした。原文はこれを、確認の動機が減る話として読み替えます。

    間違いの見え方

    • 常識:目立つので気づく

    • 原文の見立て:目立たなくなる

    出力の印象

    • 常識:粗さがあれば疑える

    • 原文の見立て:整っていて、疑う理由がない

    人の確認

    • 常識:負担が減る

    • 原文の見立て:動機が減り、確認が自然に省かれる

    検証の結果

    • 常識:通ればよい

    • 原文の見立て:緑のチェックが全体を保証すると錯覚する

    最後の行は、検証そのものを明け渡す話です。エージェントはテストを安く作れるので、緑がたくさん並びます。

    ただし、機能と同じ勘違いで書かれたテストは、正しく動かない機能でも通ります。

    原文の整理では、検証の準備は安くなりました。難しくなったのは、良い検証がどういうものかを知ることです。

    【仕組み】 聞く前後に差し込む三つの習慣

    確認は気合ではなく、AIに聞く前後に差し込む小さな手順で作ります。

    画像
    読みやすい答えを見たあとでは、遅い

    ①聞く前に仮説を書く。難しい作業をエージェントに頼む前に、自分の予想を書きます。頭の中でも構いませんし、外れていても構いません。

    読みやすい答えを一度読むと、別の可能性を想像しにくくなるからです。予想があれば、答えが合っているときは自分の見立てと見比べられ、ずれたときは「自分とAIのどちらが違うのか」を選ぶ場面が生まれます。

    ②「検証済み」を先に決める。終わりの線は、テストの通過、スクリーンショット、ログやトレースなど、目に見えるものにします。作業が終わってから決めると、どんな結果でも納得できてしまうからです。

    ③緑のチェックが確かめなかったことを1つ挙げる。チェックが通ったら、何を証明したかを問い、次に何を証明していないかを問います。

    原文の目安は、「そのチェックが見逃すものを言えないなら、簡単な承認ではなく本物のレビューを頼む」です。毎回深く掘る必要はなく、どこまで掘るかを決めるのも技術だと書かれています。

    【具体例】 600行のPRを承認する前に

    要約ではなく、実行された証拠から読み始めると、想定外が見えます。

    画像
    要約より先に、実行された証拠と判断から読む

    原文が挙げる場面では、エージェントが600行のPRを出し、構造をざっと見て、変数名は妥当でテストも通っているので承認します。

    ところが中ほどに、トランザクション境界の順序変更や、端のケースで反転した既定値があるかもしれません。見たのは、見つかると予想していたものだけでした。

    読む順序は、原文の提案をまとめると次のようになります。

    1. 完了通知が来たら、要約より先に、実行されたコマンドとその出力を読む。

    2. 差分は、AIが書いていない前提で読む。

    3. 差分の外にある判断を見る。既定値、対象外にしたこと、要件が衝突したときの解釈などです。

    4. 判断と前提を、エージェント自身に列挙させる。

    5. ランダムな数行を選んで「この行は何か」と自問する。文書なら閉じて、主張を記憶から書く。

    長いセッションでは、変更の報告書の末尾にクイズを付けさせ、満点で通るまでマージしない、という習慣も紹介されています。

    コード以外にも当てはまります。50件の顧客通話をエージェントに要約させたなら、元資料を数件開き、提案が頼っている数字を1つ検算します。

    【関連概念】 負債の種類と、預けられない責任

    明け渡しは個人の癖で終わらず、チームに負債として残ります。そして最後の責任は、モデルが賢くなっても移りません。

    画像
    負債は種類ごとに違う。責任は、モデルが賢くなっても人に残る

    原文は、4つの用語を名前だけ挙げています。それぞれ別の資料で説明されているので、資料ごとに整理します。

    **理解負債**

    • 何を指すか:システムの量と、人が理解している量との差

    • 回復のしかた:必要な部分をエージェントに説明させて、局所的に作り直す

    **チームの共有理論**

    • 何を指すか:プログラムは、ソースコードだけでなく、開発者の頭にある理論でもあるという見方

    • 起きること:理論が薄れると、簡単な変更もしにくくなる

    **意図負債**

    • 何を指すか:目的、制約、理由が、読める形で残っていない状態

    • 誰が書くか:エージェントは推測しかできず、書くのは人

    **オーケストレーション税**

    • 何を指すか:エージェントが出す量と、人が責任を持てる量の差

    • 回復のしかた:並列数を、実際にレビューできる数に合わせる

    オーケストレーション税の記事では、ちゃんとレビューできる並列数は「一桁の前半」が多いとされています。原文の言い方では、責任を持てる量を超えて作っているとき、それはレビューではなく期待です。

    「どうせモデルが検出するのでは」への答え

    一、二年後には、モデルが人と同じ誤りを検出するかもしれません。Osmaniさん自身も、検出はエージェントに寄せていく立場です。

    それでも、出荷の責任は誰かが負います。AIがどれだけ手伝っても、その責任は人に残ります。

    もう一つ、どこまでAIを信頼するかという判断自体が人の仕事です。モデルが間違える場所は変わり続けるので、レビューして、自分の見立てを合わせておく必要があります。

    Anthropicの自社調査は、これを監督のパラドックスと呼んでいます。Claudeを監督するには、AIの使い過ぎで衰えうるコーディングの力が要る、という趣旨です。

    だから原文は、こう言い切ります。作業と監査の多くは預けられますが、説明責任は預けられません。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『ファスト&スロー(上)』は、流暢で自信のある答えを、そのまま判断として受け入れやすい傾向を広く知るための本です。原文と補助資料が直接引く本ではありません。

    『人月の神話【新装版】』は、人を増やすと調整の負担が増えるという議論の古典です。補助資料は、エージェントを増やすと調整の負担や見えない判断が増える話の背景として、ブルックスの議論に触れています。

    関連記事

    【まとめ】 聞く前に予想を書き、終わったら1つ疑う

    まず試すのは二行のメモだけで足ります。

    画像
    エージェントの利用を減らす話ではなく、結論の持ち主を保つ話

    原文の最後の提案は小さなものです。AIに聞く前に、結果の予想を書きます。

    エージェントが終わったら、確かめられなかったことを1つ書きます。

    そのうえで、自分の置き場所を点検します。AIの助けを借りても説明できない答えがあれば、その結論は明け渡したものです。

    週に一度、エージェントなしで何かを書く、という習慣もあります。月に一度、やめたことを書き出し、手放してよいものを意識して選ぶ方法もあります。

    確認は無料ではないので、予定に組み込まないと続きません。

    本記事の整理は、原文と補助資料にもとづく読み方であり、自分の現場での効果は、小さく試して確かめてください。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ