メインコンテンツへスキップ
見出し画像

AIモデルを内部リスクとして扱う設計~Satya Nadella 氏のエッセイから読む、信頼の置き方~

    【発端】 モデルを信用しきらない設計の提案

    画像
    エッセイが出発点に置く、追跡できる従来ソフトと追跡できない今のモデルの落差

    最近、Satya Nadella氏(Microsoft会長兼CEO)のエッセイ「Models as Insider Risks in the Super Intelligence Era」を読みました。同じ文章は、本人のブログ sn scratchpad にも、2026年10月10日付で載っています。

    モデルの賢さや安全性から入らないところが、このエッセイの面白い点です。問いは、モデルを完全には信用しなくても使い続けられる設計を、周りにどう置くかです。

    この記事の範囲は、エッセイを知らない人でも追える三つの話です。内部リスクという考え方、従来のソフトウェアとの違い、エッセイが挙げる設計の原則を、自分の仕事に引き寄せます。

    【基礎】 能力と権限を持つ主体は内部リスク

    画像
    初出の用語を、記事を読んでいなくても分かる形にする

    悪意があるかどうかに関係なく、重要なシステムに触れられる主体は、ミスも乗っ取りも起こし得ます。エッセイは、モデルをその一員として扱います。

    米国のCISA(サイバーセキュリティ・インフラストラクチャ安全保障庁)は、内部の脅威を、正規のアクセス権や組織への理解を使って組織に害を与え得る可能性と定義しています。意図的かどうかを問いません。

    CISAの定義に照らすと、エッセイの主張は分かりやすくなります。

    エッセイは、モデルが必ず悪意を持つとは書いていません。十分に能力の高い主体が重要なシステムに触れる以上、ミスや乗っ取りを前提に、封じ込めと制御の構造を作る必要があります。

    この発想の背景は、挙動の追跡です。従来のソフトウェアなら、ある挙動を特定のコード経路までたどれました。

    エッセイは、今のモデルの出力を、学習データの特定の入力や、重みの特定の構成に結びつけられない、と述べています。

    Super Intelligence(SI)を、エッセイは定義していません。文脈からは、フロンティアモデルを土台にしたシステムを指すと読めます。

    CoT(chain of thought)は、モデルが答えを出す前に書き出す推論の過程です。

    【違い】 採否だけの使い方から、観察して止める使い方へ

    画像
    四つの軸で見た、従来の運用とエッセイの設計の差

    モデルの出力を受け取って、採用か却下かだけを決める使い方では足りません。観察でき、限界をテストでき、止められる仕組みが要ります。

    エッセイは、SIを入れ子のブラックボックスとして扱い、答えや行動を受け入れるか拒否するかだけで済ませる運用を退けています。代わりの提案は、モデルの提供と、モデルへの権限を分けることです。

    挙動の追跡

    • 従来のソフトウェア:コード経路まで追える

    • 今のモデル:入力や重みに結びつけられない

    • エッセイの設計:外側の記録から経緯を再現する

    責任の置き場

    • 従来のソフトウェア:開発した側と運用側

    • 今のモデル:提供元の保証に寄りかかりやすい

    • エッセイの設計:利用する組織が引き受ける

    出力の扱い

    • 従来のソフトウェア:仕様どおりに動く前提

    • 今のモデル:採用か却下かを選ぶ

    • エッセイの設計:観察、テスト、停止ができる状態

    制御の場所

    • 従来のソフトウェア:プログラムの外の権限管理

    • 今のモデル:モデルの判断に任せがち

    • エッセイの設計:モデルの外に置く

    エッセイは、モデル提供者の保証があっても、利用する側の責任は軽くならないと書いています。知能が自分たちの代わりに何をするかの責任は、外へ出せない、とも書きます。

    【仕組み】 制御をモデルの外に置く七つの原則

    画像
    モデル自身が回避も改ざんもできない場所に、許可の仕組みを置く

    モデルの中身を完全に理解できなくても、外側の設計で信頼できる状態を作ります。権限を決める仕組みを、モデル自身が回避も改ざんもできない場所に置くことが、いちばん肝心です。

    エッセイは、プログラムが自分の権限を強制する仕組みを、迂回したり改ざんしたりできてはならない、という1970年代からの原則に乗っていると書きます。原則の名前は挙げていません。

    本記事では、迂回できないことを、SaltzerとSchroederの1975年論文にあるcomplete mediation(あらゆるアクセスで権限を確認する)に当たると読みます。改ざんできないことは、同じ論文が参照モニタの条件に挙げる、仕組みを書き換えられないことです。

    論文はThe Protection of Information in Computer Systemsです。least privilege(仕事に必要な最小限の権限)も同じ論文の原則ですが、エッセイのこの一文が、それを名指ししているわけではありません。

    エッセイは、モデルのCoTを透明にすることを必須とします。それだけでは足りず、頼りにもならない、とも述べます。

    理由は、モデルの出力そのものを、安定して忠実で透明にする方法が、まだ分かっていないためです。

    エッセイはNeuraleseを定義していません。人の読めない内部表現で推論することを指す俗称として使われることがあり、それを理由に推論を不透明にしてはならない、というのがエッセイの一文です。

    エッセイは、モデル同士で敵対的に試し、検証すべきだと書きます。ただし、不透明なモデルが不透明な段取りの中に入り、別の不透明なモデルに見張られる、という入れ子に戻り得ます。

    そこで分けるのは、モデルと、作業を段取りするハーネスと、できる行動の範囲である行動空間です。制御は、モデルの外に出します。

    エッセイの前置きは、七つを観察のための原則とすることです。中身は観察だけではなく、制御、封じ込め、開示も含みます。

    • モデルの多様性:重要な結果を、一つのモデルだけに依存させない。自分の仕事の検証もさせない

    • すべてを観察:意味のある行動ごとに、改ざんできず、人が読める証拠を残す。経緯は、モデルの自己申告なしで再現する

    • 検証可能性:成功例だけでなく、失敗、攻撃、端の場合にあたるエッジケース、システムの変更も、継続して試す

    • 独立した制御:何にアクセスし、何をするかを、組織が独立して決める

    • 独立した監査:検証を、検証される知能から独立させる。挙動と、その証拠を、一つのモデルに持たせない

    • 封じ込め:最初から侵害されている前提で囲う。権限のある人が、実行の途中でも止められるようにする

    • インシデント開示:失敗や侵害を、影響を受ける人へ遅れずに伝え、何が起き、どの制御が失敗し、どう再発を防ぐかを、業界で共有する。実行時の挙動を変える実装の詳細も含む

    最も信頼できるSuper Intelligenceのシステムは、いちばん信頼するモデルを持つものではありません。モデルを、いちばん信頼せずに済むようにするシステムです。

    【具体例】 返金提案エージェントを外側から囲う仮の設計

    画像
    この記事で考えた仮の設計例。エッセイの事例ではなく、効果も検証していない

    七つの原則は、権限の置き場所を一つずつ決める作業に落ちます。

    以下は、この記事で考えた仮の設計です。エッセイの事例でも、Microsoftの事例でも、効果を確かめた結果でもありません。

    社内の問い合わせ対応で、モデルが顧客の履歴を読み、返金を提案するエージェントを作るとします。ハーネスが絞るツールは、「返金案の登録」だけです。

    実際の返金は、人が承認したときだけ実行します。

    ツールの呼び出しは、すべてモデルとは別のログに残します。あとから、なぜこの返金案が出たかを、モデルの自己申告なしで再現するためです。

    担当者には、処理の途中でもエージェントを止められる操作を渡します。

    返金案の妥当性を確かめる役には、別のモデルか、決まったルールによる検査を置きます。作った側が、自分の結果を確かめる構成を避けるためです。

    【関連概念】 最小権限、Excessive Agency、CoTの監視

    画像
    あわせて読む三つの概念と、エッセイとの接点

    エッセイの提案は、新しい発明の寄せ集めではありません。すでに別の場所で整理されている考え方の組み合わせです。

    • 最小権限と完全な仲介:前の節で触れた1975年の設計原則です。エッセイは論文名を挙げておらず、本記事ではSaltzerとSchroederの論文に当たると読み、短い解説はShostackの記事です。

    • Excessive Agency:OWASPが、LLMアプリケーションの脆弱性に挙げる項目です。原因は過剰な機能、過剰な権限、過剰な自律の三つで、対策はLLMに許可を判断させず、下流のシステムで認可し、complete mediationを適用することだと、OWASPのLLM06:2025 Excessive Agencyに書いてあります。

    • CoTの監視可能性:人の言葉で考えるモデルなら、悪い意図をCoTから見つけられる可能性がある、と複数の研究機関の著者が論じ、同時に不完全で壊れやすい機会だと位置づけた論文です。原典はKorbakらです。

    エッセイがCoTの透明性を必須としながら、それだけでは頼れないとする点は、この論文の「壊れやすい」という評価と重なります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    Ross Anderson『Security Engineering: A Guide to Building Dependable Distributed Systems』(第2版、2008年)は、エラーにも悪意にも耐えるシステムの設計を扱います。権限のある主体を前提に封じ込める、というこの記事の背景になります。

    Heather Adkinsほか『Building Secure and Reliable Systems』は、安全で信頼できるシステムを設計し、運用する実践の本です。観察、封じ込め、インシデント対応を実務へ落とす参考になります。

    Dan Bergh Johnssonほか『セキュア・バイ・デザイン 安全なソフトウェア設計』は、セキュリティを設計全体の関心事として扱う日本語の本です。権限や制御を、設計の段階で組み込む考え方の入門になります。

    関連記事

    【まとめ】 自分のエージェントの権限を棚卸しする一歩

    画像
    試す一歩。答えられない項目が、次に設計を足す場所になる

    まず確かめるのは、モデルの賢さよりも、モデルの周りの設計です。使っているエージェントやAI機能を一つ選び、次の四つに答えてみてください。

    1. □ そのモデルが読める情報と、実行できる操作の一覧を書き出せるか

    2. □ その一覧を決めているのは、モデルの外側の仕組みか

    3. □ 結果が出るまでの経緯を、モデルの説明に頼らず記録から再現できるか

    4. □ 実行の途中で、権限のある人が止められるか

    答えられない項目が、次に設計を足す場所です。エッセイの原文は約800語と短いので、自分の環境に当てはめながら読み返すと、各原則の意味がつかみやすくなります。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ