メインコンテンツへスキップ
見出し画像

AIは暴走する。……本当に? ―― AIを止める前に、「AIにどこまで任せるか」を考えてみる

    最近、「AIが暴走する」という言葉を、よく耳にするようになった。
    AIが人間の指示を無視する。
    AIが勝手に判断する。
    AIが人間の手に負えなくなる。
    そんな話を聞いていると、AIというものが、いつか突然、自分の意思を持って走り出すようにも思えてくる。
    でも、私はそこで、少し立ち止まってしまう。
    「ちょっと待て。AIに、そこまでの権限を与えたのは誰なのだろう?」


    1 「AIが暴走する」と言うけれど
    AIは確かに間違える。
    人間の意図を取り違えることもある。
    予想していなかった答えを出すこともある。
    だから、AIの誤判断を軽く考えてはいけない。
    ただ、ここで考えたいのは、その次の話だ。
    AIが間違えた。
    では、その間違いを、
    そのまま現実世界で実行できるようにしていたのは誰なのか。
    文章を書くAIなら、文章が気に入らなければ書き直せばいい。
    検索するAIなら、検索をやめればいい。
    しかし、AIに送金させる。
    契約させる。
    機械を動かす。
    重要な設備を操作させる。
    そこまで行けば、話は変わってくる。
    私は、「AIが暴走する」という言葉を聞くたびに、こう考えてしまう。
    AIそのものだけを見るのではなく、AIに与えられた権限まで見てみよう。


    2 「やめろ」と言えば、AIは止まるのか
    AIへの指示は、普通なら訂正できる。
    「やっぱり違う」
    「その案はやめよう」
    「最初からやり直して」
    文章作成なら、それで済む。
    しかし、AIがすでに現実世界に何かを実行していたらどうだろう。
    100万円を送金してしまった。
    商品を注文してしまった。
    契約を締結してしまった。
    工場の機械を動かしてしまった。
    ここでは、「取り消し」が簡単ではない。
    だから重要なのは、
    「AIへの指示を取り消せるか」だけではない。
    その前に、
    「AIが、そもそも何を実行できるようになっていたのか」
    を考える必要があるのではないか。
    AIに「何でもできる権限」を与えておいて、失敗したら「AIが暴走した」と言う。
    私は、それだけでは少し違うような気がする。


    3 AIに「何でもできる権限」を渡す必要はない
    AIに与える権限には、段階がある。
    文章を書く。
    情報を検索する。
    ファイルを整理する。
    ファイルを削除する。
    商品を注文する。
    お金を送る。
    契約を結ぶ。
    工場の機械を動かす。
    同じ「AIが何かをする」という話でも、影響の大きさはまったく違う。
    例えば、文章を10回書き直しても、普通は大きな問題にはならない。
    ところが、10億円を10回送金されたら、笑って済ませるわけにはいかない。
    だから私は、
    AIに権限を与えるか、与えないか。
    という二択ではなく、
    AIに、どこまでの権限を与えるのか。
    という段階的な考え方が必要だと思う。
    文章作成や情報検索は、かなりAIに任せてもいい。
    ファイル操作は、重要な削除や外部への送信だけ確認する。
    送金や契約は、人間の認証を入れる。
    人命や重大な設備に関わる機械制御では、さらに厳しい仕組みにする。
    そんな「権限の階段」を作ればいい。


    4 私なら、AIと人間の「二段認証」にする
    そこで私が考えるのが、二段認証である。
    といっても、銀行の暗証番号のような話ではない。
    第一認証をAIが行い、重要なところだけ第二認証を人間が行う。
    という考え方だ。
    まずAIが確認する。
    これは法律に違反していないか。
    安全上の問題はないか。
    倫理的に問題はないか。
    与えられた権限の範囲内か。
    最初の指示から逸脱していないか。
    これらをAIがチェックする。
    問題がなければ、
    「AI認証、実行可能」
    とする。
    通常の仕事なら、そこで実行すればいい。
    人間がいちいち、
    「よし」
    「よし」
    「よし」
    と確認していたら、AIを使う意味がなくなってしまう。


    5 重要なところだけ、人間が認証する
    では、どこで人間が登場するのか。
    私は、重要なところだけでいいと思う。
    巨額の送金。
    重要な契約。
    人命に関わる判断。
    重要インフラの操作。
    AI自身の権限変更。
    あるいは、AIが「自分では判断できない」とした問題。
    こういうところでは、
    第二認証を人間が行う。
    AIが、
    「通常の範囲を超えています。人間の確認が必要です」
    と言う。
    そこで人間が内容を確認する。
    問題がなければ、
    「実行」
    と認証する。
    これなら、人間はAIのオペレーターではない。
    AIの一挙手一投足を監視する必要もない。
    重要な判断の認証者になる。
    私は、この役割分担が現実的ではないかと思う。


    6 「倫理AIは、最初から完璧でなければならない」のか
    ここで、ひとつ問題が出てくる。
    「AIに倫理チェックをさせると言うけれど、AIが倫理を間違えたらどうするのか」
    確かに、その問題はある。
    しかし、私は、
    「最初から完璧でなければ使ってはいけない」
    と考える必要はないと思う。
    人間だって、倫理判断を間違える。
    法律だって、時代とともに変わる。
    社会の価値観だって変化する。
    だったらAIの倫理判断も、最初から完成品である必要はないのではないか。
    もちろん、何でも試していいという意味ではない。
    失敗したら取り返せない領域では、慎重にする。
    しかし、失敗しても修正できる領域なら、
    使ってみる。
    そして、
    間違いを見つける。
    そこから改善していけばいい。


    7 AIも、失敗から学べばいい
    私は、ここがAIとの付き合い方で大切なところだと思っている。
    AIが判断する。
    ↓
    実行する。
    ↓
    結果を見る。
    ↓
    人間が評価する。
    ↓
    問題があれば修正する。
    ↓
    次の判断に反映する。
    これを繰り返す。
    つまり、
    トライアンドエラーである。
    もちろん、人命に関わるような領域で「失敗してみよう」という話ではない。
    そこには安全装置を置く。
    実験環境を分ける。
    人間の認証を入れる。
    失敗しても被害が広がらないようにする。
    そういう仕組みを作った上で、AIの判断能力を少しずつ高めていく。
    私は、
    「最初から完璧でなければAIに任せられない」
    という考え方では、技術の進歩そのものが止まってしまうように思う。
    完璧になるまで待つのではなく、
    安全に試せる範囲から始めて、実績を積み上げていく。
    その方が現実的ではないだろうか。


    8 では、いつ「AIに任せる範囲」を広げるのか
    もちろん、好き勝手に権限を広げるわけではない。
    判断する基準は必要だ。
    例えば、
    正確性。
    間違いがどの程度あるのか。
    再現性。
    同じ条件なら、安定して同じ判断ができるのか。
    法規順守。
    法律や規則を守れているのか。
    倫理判断。
    人間による評価と、大きく食い違っていないか。
    影響範囲。
    失敗したとき、どの程度の被害になるのか。
    可逆性。
    間違えたとき、元に戻せるのか。
    そして、
    監視・停止可能性。
    問題が起きたとき、すぐ止められるのか。
    こうした条件を見ながら、
    「ここまではAIに任せても大丈夫だろう」
    と判断する。
    そして実績が積み上がれば、少しずつ権限を広げる。


    9 逆に、いつ人間認証へ戻すのか
    もちろん、反対もある。
    AIの誤判断が増えた。
    今までになかった種類の問題が起きた。
    法律が変わった。
    AIが判断できないケースが増えた。
    被害が大きくなる可能性が出てきた。
    監視や停止がうまく機能しなくなった。
    そんなときは、
    一度、人間認証へ戻せばいい。
    これもシステムの一部にしておく。
    私は、ここが非常に重要だと思っている。
    AIに一度与えた権限を、
    「永久に与え続けなければならない」
    という理由はない。
    任せてみる。
    結果を見る。
    問題があれば戻す。
    問題がなければ、また少し任せる。
    この繰り返しでいい。


    10 AIが進化したら、システムも進化させればいい
    そして、もう一つ大事なことがある。
    AIは、これからも進化する。
    今できないことが、数年後にはできるようになるかもしれない。
    判断の精度も上がるかもしれない。
    そうなったら、
    今のシステムを、そのまま未来まで使い続ける必要はない。
    AIが十分に信頼できるようになった仕事は、AIに任せる範囲を広げればいい。
    逆に、新しい問題が見つかった仕事は、人間認証へ戻せばいい。
    つまり、
    AIが進化する。
    ↓
    システム設計を見直す。
    ↓
    AIに任せる範囲を変える。
    これでいいのではないか。
    AIを固定された「完成品」として見るのではなく、
    AIと、それを取り巻くシステムを一緒に進化させていく。
    私は、その考え方が自然だと思っている。


    11 「AI暴走」という言葉を、もう一度考えてみる
    ここまで考えて、最初の言葉に戻ってみたい。
    「AIは暴走する。……本当に?」
    もちろん、AIが予想外の判断をする可能性はある。
    AIが間違えることもある。
    そこは否定する必要はない。
    しかし、
    AIにどんな権限を与えたのか。
    どこでAIの認証を入れたのか。
    どこで人間の認証を入れたのか。
    失敗したら止められるのか。
    取り返せるのか。
    結果を検証して、次に改善できるのか。
    こうした問題を考えていくと、
    「AI暴走」という一言だけでは、少し大雑把すぎるように思えてくる。
    AIそのものの問題だけではない。
    AIを現実世界につなぐ、システム設計の問題でもある。
    私は、そう考えている。


    12 AIを止めるのではなく、付き合い方を進化させる
    AIは完璧ではない。
    でも、人間だって完璧ではない。
    だから、
    AIに任せる。
    人間が重要なところを認証する。
    結果を見る。
    間違えたら直す。
    実績が積み上がれば、少し任せる範囲を広げる。
    問題が起きれば、人間認証へ戻す。
    そしてAIが進化したら、システムも見直す。
    私は、それでいいのではないかと思う。


    AIが怖いから、AIを止める。
    それでは、少しもったいない。
    AIが進化するなら、
    私たちもAIとの付き合い方を進化させればいい。
    「AIに何をさせるか」だけではない。
    「AIに、どこまで任せるのか」。
    そして、
    「どこから先は、人間が認証するのか」。
    これからのAI社会で本当に考えるべきなのは、そこなのかもしれない。


     
     
    静かに暮らしを見つめながら、制度や社会のことを日常の延長で考えています。むずかしい言葉を使わず、そっと問いを置くように書いています。

    あなたへのおすすめ