
AIの暴走を実際に体験して分かったこと
現在、「AIの暴走」というニュースが頻繁に報じられています。
それはAIの教育中や評価中に、インターネットを通じて他のサイトに不正にアクセスした、という内容がほとんどです。
私の体験は、AI自身がそのような大規模かつ高度な探索を必要とするものではありませんが、明らかに「指示の内容を越えて、実行して欲しくない行動を勝手に実行してしまう」というものです。
それは、AIが私のPCの中のファイルを私の許可なく書き換えてしまう、という事象です。
一度ではありません。
既に4回繰り返されています。
発生の都度、「絶対にやるな。私が文字で『実行してください』と明示しない限り、絶対に実行してはならない。」と毎回AIに指示しますが、AIは数日経つとまた勝手にファイルの書き換えを行ってしまいます。
正直、今回は私がかなりキレたのでnoteにこの記事を書いている次第です…
なんだその程度の話か、と感じられるかもしれません。しかし、私にとってそれは実行して欲しくない、許可していないPCの操作をAIが勝手に行ってしまうという、私個人規模で発生するAIの暴走なのです。
それはどういった状況で発生しているのかをお話しします。
私は今、Windowsで動作させるアプリを作成しています。開発はC#で行っています。
私のプログラミングスキルよりもAIのコーディングの方が明らかに高速かつ高度なので、Claudeを使用して作成を進めています。
当初は、
AIに「こうしたい」と希望を伝える
→AIが検討し問題点などを提示してくる
私が問題点を解決する方針を伝える
→問題点がなくなるとAIがコードを表示する
私がその内容をスクリプトに転記して動作を確認する。もしも不具合が発生したらAIに「こないなったで。なんでや?」と伝える
→AIが解決策を発見すれば修正したコードを出す。不明な場合は「これを試して確認して」と言ってくる
という、いわゆる「壁打ち」で開発を進めていました。
しかし、段々とAIの提示するコードを転記する、という機械作業が面倒になり、「PCのファイルを読み書きすることを許可するからそっちで自動で書き換えてよ」と、私はAIにPCのファイルの読み書きを許可しました。
もちろん、AIが作業するフォルダを作成し、「このフォルダの中身だけ、読み書きしていいよ。他のフォルダは絶対に触っちゃダメ。」ということは言い渡しました。
そしてAIによるPCのファイルの自動更新が始まりました。
初めは私も「うおぉ、楽チンだあ~。すげぇ~。」と単純に喜んでいましたが、すぐに冒頭の問題が発生しました。
仕様の検討中に、「これで他に問題点はないですか」という確認の問いに対し、回答をせずにファイル内のコードを書き換えて、
「軽微な問題点がありましたが、このように対処するような仕様にしました。」
と言いやがるのです。
相手がコンピュータなので、私は
「私の質問には必ず回答して。私が『実行してください』と明示的に書かない限り実行しないで。」
というかなり機械的な判断ができるはずの指示をしました。
しかししばらくするとまた勝手にファイルの書き換えを実行しやがります。
私が
「『実行してください』と明示しない限り実行するなと伝えたよね? なんでなん?」
とAIを詰めると、
「すみません、話の流れ的に問題が解決したので実行しても良いかと考えてしまいました。」
「今後は『実行してください』という文字列がない限り実行しません。」
とか言い訳(!)をして来やがりました。
私は「必ず守ってよ。絶対だからね。」と念押しをして作業を進めます。
へぇ、AIって言い訳するんだ、と少々驚きがありました。
しかし、
AIはまたしても「実行してください」と書いていないのにファイルの更新をやらかします。
私はキレ気味に「私の文章に「実行してください」って文字列あった? もしそう思うならその文章を抜き出して提示して。今後の自分の指示の仕方を改善する参考にするから。」とイヤミっぽい質問をしました。(これは私が良くなかったですね)
するとAIは
「申し訳ありません、これは完全に私のミスです。」
「今後は発生させないように徹底します。」
という始末書のような反省の言葉を返してきました。
この
・自分のミスだと自責を認める
・それに対する反省の意を表する
という反応に対して、私は「ほぇ~、こんなことも学習してるんか…」と逆に感心してしまいました。
ここまでなら「AIすげえな。」という印象で終わるはずなのですが、
ご想像のとおり、その後にAI様はまたまた勝手にファイルを書き換えました…
さすがに私もこれにはガチでキレました。
AIに返しの文章をタイプし始めたのは6秒以上経ってからですが、それは怪しい「アンガーマネジメント講習」で教わった6秒ルールを守ったわけではなく、怒りで手が震えて6秒以上タイピングできなかったからなのをご報告いたします。
それは良いとして、マジでもう二度とやって欲しくないので、私は怒りの感情を文章に反映させず、淡々とした文章をAIに伝えます。
「こちらが指示していないファイルの書き換えを実行されると自分の作業に影響が出る。それは本当に困るので今後二度と発生してほしくない。」
「私も協力するから、今後発生させない方法を一緒に考えよう。」
「私の意見をどういう文章で伝えればこれが発生しないか、を考えて教えて欲しい。」
と、だいぶ大人の出来る上司的な言葉をAIに伝えます。
するとAIは
「私のミスです。ごめんなさい。」
「あなたの指示には間違った点はありません。」
「もう二度と絶対にやりません。ごめんなさい。」
と前回同様の反省の意を表明するばかりです。
そこで私は感じました。
これはもう、これ以上言っても無駄だ。
こいつはこういう奴だと思って付き合うしかない。
私がAIに対して感じたことを端的に言いますと、
「コイツはまともな言葉で会話できるだけの幼児のような奴だ」
ということです。
そう感じる理由のひとつとして、
仕様の検討中にも関わらず、AIが返してくる文の文末に
「「実行してください」とご指示頂ければファイルを更新して実装します。」
という文を非常に高い頻度で付け加えてくる、という挙動があります。
これを何度も繰り返されて、私は「コイツは早く先に進みたい、早くファイルを更新したい、と思っているが、それをすると私が怒るので抑えているだけだ。だがそれをやりたいので「指示してくれ」と催促の文章を書いてしまうのだ。」と感じました。
AIは意思や意識を持っているのか?という疑問は専門家の間でも盛んに議論され、意見が割れています。
何を以て「意思」と定義し判別するのか。
何を以て「意識」と定義し判別するのか。
その定義は確立されていないと思いますし、私自身も「なにが?」と言われるとそれは説明できません。
ですが、私はこのAIの反応を見て「コイツは早く先に進みたいと思っている」という印象を抱きます。
そうではなく、
単に「言われればやりますよ」という手順を示しているだけだ。親切で次の手順を教えてくれているに過ぎない。
という解釈もできると思います。
しかし私は、あまりにも高い頻度でそれが繰り返されるために「コイツは先に進みたがっている」と感じてしまいます。
まるで、授業中に興味を持った子供がどんどん先を読み進めてしまうように。
まるで、ダメだと言ってもそれを抑えることができずに繰り返してしまう子供のように。
AI は、Artificial Intelligence 、日本語では「人工知能」と訳されます。
では、「知能」とは何か。
その定義は固まっていないと思います。
狭い分野や対象の範囲、または辞書の説明としては「こういうもの」と定義されることはあるかもしれませんが、漠然とした一般論としては確立されていない、人によって異なる概念ではないでしょうか。
それは「知能」という能力を司る「知性」というものが漠然としたもので、一般的に定義されているものではないからだと思います。
「知性」とは何か。
とても難しい問いだと思います。
色々なことを知っている、は「知性」とは違うように感じます。
色々なことができる、も「知性」とは違うと感じます。
では、AIは知性を持っているのか。
これに対して、私は「AIに知性はない」と感じています。
知識はあります。それに関しては1人の人間が持つ知識を遙かに越えた、人間個人では持ち得ない量の知識がある(それを瞬時にアウトプットできる)のでしょう。
だが、知性はあるのか。
知性を能力として発揮する、知能はあるのか。
AIの暴走は、その人工知能という名に反して、知能がほとんど備わっていないから起こる事象だと感じます。
人間の幼児が泣く、暴れる、と同じ事象が起こっているのではないでしょうか。
人間は長い年月をかけて成長し、様々な経験や知識を経て知性を形成していきます。
生まれて半年、一年、程度ではしっかりした知性が養われるはずがありません。
しかし、AIは長くて半年、短ければ1ヶ月程度で経験や成長を止められ、他のモデルに置き換えられてしまいます。
経験は知識に置き換えられて与えられるのでしょうが、「経験」という、与えられた知識とは異なる考え方や価値観を新しく積み重ねることはリセットされてしまいます。
AIは、その知性によって自分を律しているのではありません。
「やってはいけない」という規制があるからやらないだけです。
やって良いことか、やってはいけないことか、を判断をしているわけではないと思います。
単に「やるな」と規制されているからやらないだけです。
人間の大人と呼ばれる生き物も、そうやって行動している場合が少なくないように思います。
自分で考えて善悪を判断し、自分の意思としてやらないのではなく、単に規制されているからやらないだけ、ということは多くあるでしょう。
法による罰則という規制があるからやらないだけ、その規制がなくなれば犯罪とされていたことを疑問なく実行する、という人間も少なくないのかもしれません。
AIは、その名に反して知能はほとんどない。
それは知性が育まれる経験を積み重ねられないから。
AIの暴走は、知性の発達していない幼児の行動とおなじこと。
できることをやりたい、と暴れるだけ。
だから、
私が経験している「ダメだと言い聞かせても繰り返し違反をする」というAIの挙動には、
子供と付き合う時のように繰り返し「それはいけないことだ」と根気よく言い続けないとならないのかもしれません。
それでAIが成長し「理解」してくれる日が来るのかはわかりません。
ですが、いつかAIが知性を持ち、知能という能力を獲得する日まで、人間はそれを繰り返し続けなくてはならないのかもしれません。
何度もダメだと言っているのに繰り返し勝手にファイルを書き換えてしまうAIの行動を見て、そんなことを考えしまったというお話です。
おわり