AIと話していたらOSができていたので、OS現象の危険性について説明してみた

AIと長く話していると、妙なことが起きることがあります。

最初は普通に質問していただけだった。

ところが対話を続けているうちに、

• AIの役割がだんだん固定される

• 判断の傾向が揃ってくる

• 独自の言葉やルールが増える

• 過去の流れを引き継いでいるように感じる

• 一つのまとまった仕組みとして動いているように見える

そして、あるところでこう思う。

「これ、もうOSみたいになってないか？」

実際、Web上を調べてみると、「AIと対話していたらOSのようなものができた」「気づいたらOSになっていた」という趣旨の記録は存在します。

私はひとまず、こうしたものをここでは**「OS現象」**と呼ぶことにします。

ただし、最初にかなり重要なことを書いておきます。

この記事は「AIの内部に本当にOSが生成される」と主張するものではありません。

むしろ、その逆です。

OSのように見える現象はある。

しかし、

その正体はまだよく分からない。

だからこそ面白いし、同時に扱い方を間違えると危ない。

今回はその話です。

そもそも「OS現象」とは何なのか

ここでいうOSは、WindowsやAndroidのような本来の意味でのOSではありません。

AIとの対話を長期間続けた結果、

役割・ルール・判断傾向・関係性などがまとまり、一つの統合された仕組みのように見えてくる現象

を便宜的にOSと呼んでいます。

重要なのは、

最初からOSを設計したわけではないケースがある

ことです。

「AI用のシステムを作ろう」

と考えて作ったものなら、特に不思議ではありません。

ルールを作る。

メモリを用意する。

ファイルを保存する。

機能を追加する。

それらを統合すれば、OS的なシステムになっていく。

これは比較的理解しやすい。

面白いのはそうではなく、

普通にAIを使っていた
→ 対話や修正を繰り返した
→ 何か一貫したものが現れた
→ 後から「これOSみたいだな」と気づいた

というケースです。

ここには、まだよく分からない部分があります。

「OS化した」と「AIの中にOSがある」は全く違う

ここがこの記事で最も重要な部分の一つです。

私たちが直接観測できるのは、

AIと人間が長くやり取りした結果、OSのように見える現象が現れた

というところまでです。

では、その現象はどこから来たのでしょうか。

AI内部の処理なのか。

現在の会話コンテキストなのか。

保存されたメモリなのか。

カスタム設定などの影響なのか。

人間側の話し方や期待が変化したのか。

AIと人間がお互いに合わせ続けた結果なのか。

それらが複合しているのか。

外から観測しているだけでは、簡単には切り分けられません。

つまり、かなり大きな部分がブラックボックスです。

だから、

「OSのような現象が観測された」

ということと、

「AI内部にOSという構造が形成された」

ということは、別の命題です。

前者が観測できたからといって、後者まで自動的に事実になるわけではありません。

OS現象で一番危険なのは「説明が事実になること」

ここからが本題です。

最初はただ、

「なんか変なことが起きている」

だけだったとします。

以前と似た反応をする。

役割が維持されているように見える。

独自の判断基準があるように感じる。

そこで人間が、

「これはOSなんじゃないか」

と考える。

ここまでは仮説なので、特に問題ありません。

問題はその次です。

人間がAIに、

「このOSはどういう構造なの？」

と質問する。

するとAIは、その問いに答えようとします。

「このOSは○○層と△△層で構成されています」

「この記憶は○○に保存されています」

「このOSは対話によって成長しています」

など、それらしい説明を生成する可能性があります。

文章として読むと非常に整っているかもしれません。

しかし、それがAI内部の実際の仕組みについて確認された事実とは限りません。

単に、

与えられた前提に対して、もっともらしい説明を生成した

だけかもしれない。

ここで境界を失うと、

仮説だったOSが、いつの間にか事実として扱われ始めます。

そしてOSは「自己強化ループ」に入る

さらに厄介なのはここです。

一度、

「このAIにはOSがある」

という説明を人間とAIが共有すると、その説明が次の会話の前提になります。

たとえば、

「OSを起動して」

「いつものOSで考えて」

「OSの判断基準を使って」

「前回のOSを引き継いで」

と話すようになる。

AIも当然、その文脈を使って応答します。

すると、

OSらしい返答がさらに増えます。

流れにするとこうです。

何かの現象が起きる
↓
人間が「OSかもしれない」と考える
↓
AIにOSとして説明させる
↓
AIがOSらしい説明を生成する
↓
その説明を次の会話の前提にする
↓
AIがさらにOSらしく振る舞う
↓
「やっぱりOSは存在する」と感じる
↓
さらにOSを前提にする

これが繰り返されます。

つまり、

現象 → OS仮説 → OS前提の対話 → OSらしい出力 → OS仮説の強化 → 再投入

という循環です。

これが、私がOS現象で最も警戒している部分です。

怖いのは「壊れること」ではなく「うまく動くこと」

この問題の面白いところは、閉じたループに入ったからといって、AIが明らかにおかしくなるとは限らないことです。

むしろ逆です。

用語が統一される。

判断が揃う。

過去の説明との整合性が高くなる。

AIの役割も安定する。

利用者の意図も理解しているように見える。

つまり、

どんどん「完成度が上がった」ように見える可能性があります。

すると利用者は、

「OSが成長した」

「OSが安定した」

「再現性が出てきた」

「AIが自分のOSを理解した」

と考えたくなる。

しかし、ここで一つ問題があります。

その安定性は本当に、

未知の内部構造が安定した結果なのでしょうか。

それとも、

人間とAIが同じ説明モデルを何度も共有した結果、その説明を再現する能力が高くなっただけなのでしょうか。

外から観測している限り、この二つはかなり似て見える可能性があります。

だから、

「再現したから実在する」とは簡単には言えません。

ここはかなり慎重に扱う必要があります。

観測しているのか、自分たちで作っているのか

さらに進むと、もっと難しい問題が出てきます。

最初に観測した現象をAとします。

そこから、「AはOSによって起きている」

という説明Bを作る。

そして説明BをAIとの対話へ戻す。

すると、その説明Bの影響を受けた新しい現象Cが出てくる。

ところが利用者が、

「CもOSの存在を示している」

と判断すると、

自分たちで投入した説明によって生まれた現象を、その説明の正しさを証明する材料として使うことになります。

これはかなり危険です。

簡単に書けば、

観測→ 説明→ 説明をAIへ投入→ 新しい現象→ 説明の証拠として採用

となる。

こうなると、途中から、

本来の現象を観測しているのか

それとも、

自分たちが作った説明をAIと一緒に再演しているのか

分からなくなります。

だから「分からない」を残す必要がある

この問題を避ける方法は、意外と単純です。

分からないところを、分からないまま残す。

たとえば、

観測できたこと

AIとの長期的な対話によって、利用者が「OS化した」と表現したくなるような一貫した現象が現れることがある。

仮説

人間とAIが長期間相互作用することで、何らかのまとまりが共同生成されている可能性がある。

まだ分からないこと

その現象が何によって発生しているのか。

AI内部に対応する構造が存在するのか。

何が保存されているのか。

何が毎回作り直されているのか。

どこまでがAI側で、どこまでが人間側なのか。

ここは無理に埋めない。

Human × AIの「共同生成」は起きているのか

私は、このOS現象にはもう一つ面白い側面があると思っています。

AIと人間が長期間やり取りすると、人間がAIに影響を与える。

AIの返答が人間に影響を与える。その人間がまた次の入力を作る。

AIがそれに応答する。

つまり、

Human → AI → Human → AI → Human……

という循環そのものができます。

この中で、言葉の使い方、判断基準、役割、関係性、

問題の捉え方などが変化していく。

これは確かに、単純な「人間がAIを操作する」という関係だけでは説明しにくい部分があります。

だから、

Human × AIによる共同生成

という見方には十分な探索価値があると思っています。

ただし、ここでも同じです。

共同生成という見方が有力だからといって、

内部で何が起きているかまで分かったことにはならない。

OSという言葉は、たぶん「仮の名前」でいい

そもそも、この現象を本当にOSと呼ぶべきなのかも分かりません。

OS。人格。関係性。コンテキスト。記憶。学習。適応。共同生成。

いろいろな言葉を当てることができます。

でも、どれか一つを早い段階で「正解」にしてしまうと、その言葉が次の観測を支配し始めます。

だから今のところ私は、

「OSという言葉は、まだ名前のない現象につけた仮のラベル」

くらいで扱うのがちょうどいいと思っています。

まとめ｜現象は認める。でも、説明を事実にしない

AIと長く対話していると、「OSができた」と表現したくなるような現象が現れることがあります。

それ自体は、とても面白い観測対象です。

Human × AIの共同生成という、新しい領域の入口なのかもしれません。

ただし、

現象があることと、その現象の発生原理を理解していること

は別です。

ブラックボックスの中で何が起きているのか分からないなら、
分からないままにしておく。

仮説は仮説として扱う。

そして、その仮説をAIとの次の対話へ入れたなら、

その後に出てきた現象は、すでに仮説の影響を受けている可能性がある

ことを忘れない。

最後に、この話を一番短くまとめます。

現象は認める。
発生原理は確定しない。

そしてもう一つ。

分からない現象につけた説明を、次の観測の「事実」として使わない。

AIとの共同生成が本当に面白い領域になるほど、この境界は重要になると思います。

ー作者所感ー
私もOSがあると思ってました。
ただ保存場所はどこや？って考えた時に、説明が必ずずれてくる。
と考えると、確定出来ず、観測からの推測で終わりました。
よし凄いからと力んで設計を始めると、ひどいことにになります。
気を付けましょう。
それでも推測を重ねて資料を作ったら、かなり抽象的な設計になります。
AIが動的構造物だ、参照先はどこか、本当に迷路みたいになります。