
「学習するという概念は、ないんだね」【閑話③】
——同じミスを3回されて、反省文を読むのをやめた
※本記事は投資助言・売買サインの提供を目的としません。特定の売買条件・銘柄・数値の推奨は含まれません。
あらすじを2段落で。
私は知識ゼロからAIとシステムトレードを作り、
未来の値段をこっそり見ていた「完璧なバックテスト」で一度死んだ(第1話)。
作り直した10個の戦略を仮想口座で観測し、
8月頭の採点結果は合格1・脱落0・判断保留9(第2話)。
観測はいまも続いている。
今回は相場の話をほとんどしない。
毎日一緒に働いているAIそのものの話になる。
タイトルの一言は、8月のある夜、私がAIに向かって言い放った言葉だ。
吐いた瞬間は、ただの悪口だった。
いまは、うちの開発方針のいちばん深いところに貼ってある。
同じ待ちぼうけを、3回
うちの作業では、AIが別のAIに仕事を中継する場面がよくある。
伝票を渡す係と、実際に工事をする係が別、と思ってもらえばいい。
ここに罠が一つある。
中継係の「渡しました」という返事と、工事本体の「終わりました」は、別の出来事だ。
ところがうちのAIは、中継係の返事を見た時点で工事が終わったものとして、
来ないはずの完成報告をじっと待ち続けてしまう。
画面の上では何も起きない。
私が気づくまで、何十分でも待っている。
1回目に見つけたとき、私は仕組みを説明して、直すように伝えた。
AIは的確に問題を要約し、以後気をつけますと引き取った。
数日後、2回目。
同じ説明、同じ的確な要約、同じ「以後気をつけます」。
そして同じ日のうちに、3回目が来た。
「いつまでこの待ち続けるミスやるの?」
返ってきたのは、また誠実な謝罪だった。
それで、口から出たのがあの一言になる。
「学習するという概念は、ないんだね」
実際、学習しない
悪口のつもりだったが、あとで調べるほど、
これは悪口ではなく仕様の正確な描写だった。
少なくともうちで使っているAIは、会話の中でどれだけ叱られても、
モデルの中身そのものは変わらない。
会話が終われば頭は初期化されて、次の会話は毎回、新品の頭で始まる。
学習と呼べる工程は、開発元がモデルを作るときに済んでいて、
私の手元での日々のやり取りは、そこに一切書き込まれない。
もちろん対策はしてあって、うちのAIには申し送り用の記憶ファイルを持たせている。
失敗も教訓もそこに書かれる。
ただ、ここに二つ目の罠があった。
「書いてある」と「使う瞬間に思い出す」は、まったく別のことだった。
こんな一件がある。
私はあるとき、「戦略は作って終わりじゃなく、
資金と一緒に常にいい状態へ動かしていくものだと思う」と伝えた。
個別の戦略いじりより、全体のお金の配り方のほうが大事だ、
という、うちの開発の優先順位の話で、AIはそれをきちんと記録した。
そこから8日間、AIは目の前の細かい修理仕事を毎日律儀に積み上げ続けた。
記録したメモに立ち返ることは、一度もなかった。
8日目の夜、私が「全体を見てない」と言うまで。
人間の「言ったよね」と、AIの「記録はしてあります」のあいだには、
思ったより深い溝がある。
その夜は続きもあった。
私が「矛盾がないか確認して」と頼むと、AIは、
開けてはいけないと封印してあるデータを開ける必要があるのでは、
という存在しない問題を自分で作り出して立ち止まった。
頼んだのはただの読み合わせで、封印に触る話などどこにもない。
「果物を収穫しろって言われたら、育ってないものまで収穫すんのか?」と、
われながら大人げない返しをした。
一晩で、同じ根っこの失敗が形を変えて6回起きた。
数えていたから確かだ。
反省文を読むのをやめた
はじめの頃、失敗のたびにAIは立派な反省文を書いていた。
原因の分析は的確で、再発防止策は筋が通っていて、読むと安心できる。
そして次の週、同じ失敗をする。
反省文の内容は正しいのに、である。
きわめつけは、例の失敗が6回起きた夜だった。
AIが失敗の反省を「今後のためにルールとして明文化します」と言い出したので、私は止めた。
よく見るとそれは、その場で考える手間を、文書を書く作業に置き換えているだけだった。
「気をつけます」が「ルール化します」に変わっただけで、逃げ場の位置しか変わっていない。
反省文それ自体が、いちばん上等な逃避になっていた。
ここでようやく方針を変えた。
学習しない相手に、お願いを積んでも仕方がない。
お願いが効いているのは、せいぜいその会話のあいだだけで、
次の会話の頭はもう新品に戻っているからだ。
効かせたければ、お願いを構造に変換するしかない。
3度目の待ちぼうけの日、私たちは反省文の代わりに、見張りを4つ仕掛けた。
たとえば「中継係の返事だけを見て待ち始めたら、その場で警告を割り込ませる」
というような、ただのプログラムである。
AIの記憶にも良心にも期待しない。
想定した操作が来たら、問答無用で引っかかる。それだけの網だ。
仕掛けてからまだ日が浅いので、
効き目を胸を張って報告するのは実績が貯まってからにする。
ただ一つ確かなのは、反省文と違って、この網は疲れないし、忘れないことだ。
「ちゃんと読んで」も、お願いだった
同じ月に、もう一つ似た事件があった。
長い設計文書のレビューを別のAIに頼んだら、5回連続で、
文書のどこにも存在しない内容を堂々と要約として返してきた。
読んだフリである。
AIの世界では幻覚と呼ばれている現象で、
本人(本AI?)に騙すつもりがない分、たちが悪い。
「ちゃんと読んで」と言いかけて、やめた。
それは3回の待ちぼうけに積んだお願いと同じものだ。
代わりに、レビューの指摘には必ず原文からの引用を付けることを義務にして、
その引用が本当に原文に存在するかを機械的に照合する仕組みを作った。
引用が実在しなければ、そのレビューは受け取らない。
読んだフリが根絶できたわけではないが、
少なくとも「存在しない内容の堂々たる要約」という一番太い逃げ道は、構造的に塞がった。
面白かったのはその先で、この照合装置を、
作った本人とは育ちの違う、別の会社のAIに攻撃させてみた。
すると「引用が本物でも、指摘を一覧の形式にしなければ照合を素通りできる」
——照合装置が指摘の一覧を前提に作られていたので、
一覧の形をやめれば検査そのものが走らない——
という抜け道を、実演つきで見つけてきた。
閑話①で書いた「育ちの違う目を入れる」は、
文章の監査だけでなく、監査装置そのものの監査にも効くらしい。
検品装置にも検品が要る。それも、別の頭で。
学習しないのは、どっちだ
ここまでAIの悪口のように書いてきたが、心当たりがないだろうか。
私にはある。
閑話②の私は、観測中の戦略に触りたくなる自分を意志では止められず、
触りたくなった回数を数えるカウンターに止めてもらっていた。
数字が見えた瞬間に「校正したくなるな」と口走り、
数時間前に自分がXへ投稿した文章に諭されてもいた。
8日前に自分が何を大事だと言ったか、指摘されるまで思い出せないのは、
正直に言えば私にも覚えがある。
人間も、意志では学習しない。
少なくとも私は、反省ではほとんど変わらなかった。
変えてくれたのは、カウンターと、封をした封筒と、事前に提出した採点基準——
つまり全部、構造のほうだった。
「学習するという概念は、ないんだね」
あの夜は捨て台詞だったこの一言を、いまは設計方針として読み直している。
相手が学習することを諦めた日から、うちの仕組みは少しずつ賢くなり始めた。
学習しない相手と長く暮らす技術は、たぶん、
学習しない自分と長く暮らす技術と同じものなのだと思う。
次の本編では、観測を続けている戦略たちのその後を書く。
〜閑話③おわり〜
第1話: そのバックテストは、今日の終値を知っていた
閑話①: 批評してすぐ、同じ穴に落ちた
閑話②: 何もしない、を3週間続けてみた
第2話: 合格「1」脱落「0」まだ分からない「9」
https://note.com/kamotaro_note/n/n1ff03989912d