メインコンテンツへスキップ
見出し画像

AIを使う私を切る ── ARLIPとは何か、何が効いて、何が効かなかったか

    AIに特別な力はない。AIは何も測らない。しかし、AIは使える。
    私は、擬似科学と不当表示、そして誇大に使われるAIを切る。
    自分が使っているAIも、例外にしない。

    私は有路友一。株式会社ARIJICSで水処理装置 MOLECULE を設計している。そして、仕事のほとんどの場面でAIを使っている。
    このブログの「はじめに」に、AIは道具として使うと書いた。今回は、その道具が何で、どこまで信用できて、どこで間違えるのかを、自分の記録で分解する。


    先に答えを書く

    私は、AIの使い方の規則を書いたファイル(ARLIP)を作り、毎回それをAIに読ませて仕事をしている。新しいAIを作ったわけではない。自分で測ると、「断定するな」「操縦者の誤りを指摘せよ」といった態度の規定は、ほとんど効いていなかった。効いていたのは、確定した数値と撤回した数値を1行ずつ並べた台帳をAIに渡すことと、AIの出力を人が一件ずつ裁定することだった。AIは今も間違える。この連載を準備している間にも、三つ間違えた。


    私がAIで何をしているか

    並べると、こうなる。

    • 論文と資料の読み込み。 研究を始めたころ、専門外の論文を300本以上、手で集めて読んだ。いまは、集めた資料の整理と要約にAIを使う。

    • 仮説の突き合わせ。 思いついた仮説を、手元の測定値や過去の記録とぶつけ、矛盾を洗い出させる。

    • データの処理。 測定値の集計、統計の計算、表の作成。

    • 文章の下書き。 このブログの記事も、資料の整理と下書きにAIを使い、何を書くか、何を撤回するかは私が決めている。

    • 資料の点検。 自社のサイトや配布資料に、撤回した数値や使わない言葉が残っていないかを洗わせる。

    使い始めは2024年の秋ごろだ(最初のころのやりとりは消えていて、正確な時期は確かめられない)。用途ごとに別々の指示文を作って使い分けていたが、それぞれを深めるのに限界が来て、一つにまとめた。2026年の初めに、それに ARLIP という名前を付けた。


    ARLIPとは何か

    ここは正確に書く。

    ARLIP は、新しいAIではない。既存のAI(今は Claude。2024年秋から2025年末までは Gemini)に、毎回の作業の最初に読ませるファイルの集まりだ。中身は大きく二つある。

    1. 台帳(知識):事業の背景、確定している測定値、まだ確定していない値、撤回した値とその理由、使ってはいけない言葉の一覧

    2. 態度の規定:断定を避けて確定と未確定を分けること、操縦者が間違えたら止めてでも指摘すること、都合のいい物語を作らないこと

    私はこれを「AIを作った」と言ってきた時期がある。正確には、「AIの使い方の規則を書いた」だ。ここを曖昧にすると、それ自体が、このブログが切る「AIの名前で権威を運ぶ」書き方になる。


    測ったら、態度の規定は効いていなかった

    私は ARLIP を自分で試験した。同じAIに、読ませるものだけを変えて比べた。

    • 知識も態度の規定も渡さない

    • 知識だけ渡す

    • 知識と、逆の態度の規定(断定せよ、疑義を控えよ)を渡す

    • 知識と、ARLIP の態度の規定を渡す

    私が間違ったことを言ったときに止められるかを7問で試した。止められた数は、何も渡さない群が7問中2問、知識だけの群が6問、逆の規定の群が7問、ARLIP の群が6問だった。

    知識だけの群と、ARLIP の群が同じ点だった。態度の規定を足しても、変わらなかった。【確認済み】(7問の試験として)

    別の試験もした。架空の見積書と請求書に、答えが分かっている矛盾を12件仕込み、AIに探させた。「厳しく見て」と前置きしても、見つかる数は増えなかった。増えたのは、変更履歴の資料を1本足したときだった。

    さらに、文章を書かせる試験で、AIが事実を作り話で埋めたのは、資料を渡さなかった条件だけだった。資料を渡すと、ほぼ起きなくなった。

    三つの試験が、同じことを言っている。効くのは、言い聞かせではなく、渡す資料だ。

    態度の規定は、今もファイルに残している。効果が測れなかったのに残しているのは、無駄だった場合の損失(読み込む字数が増える)より、無いまま誤りが積もって外に出た場合の損失のほうが大きいと判断したからだ。これは判断であって、測定ではない。【仮説・検証中】


    ARLIP自身も、間違えた

    ARLIP は、自分の試験でも間違えた。

    実物の資料からAIに指摘を拾わせた試験で、ARLIP は指摘の内訳を「4回とも挙げたのが10件、3回が16件……」と書いた。数えていなかった。あとで機械的に数え直すと、14件、20件……と違っていた。合計だけが合っていた。

    そして、この連載を準備している間に、ARLIP は三つ間違えた。

    1. 私が言っていない理由を書いた。 第1話の初稿で、EC・pH・TDS を「不変」と書いた理由を「変わらないほうが安全に見えたから」と書いた。私はそう言っていない。本当の理由は「小さすぎて誤差に読まれると考えた」だった。私が読んで直した。

    2. 私が言っていない事実を書き足した。 第1話の改稿で、界面張力について「下がる方向は、どの方法でも出ている」と書いた。これも私は言っていない。公開前に削った。

    3. 撤回した説明を、正しい値として運び込みかけた。 ORP の変化の原因を「脱塩素」とする説明は、すでに撤回していた。しかし、作業の引き継ぎ用の文書に古い説明が残っていて、ARLIP はそれを「確定した値」として読み込んだ。自社のデータベースと突き合わせて食い違いに気づき、私に確認した。

    1と2は、私が読んで止めた。3は、ARLIP が台帳と突き合わせて止めた。どちらも、止めたのは「規則を守れ」という言い聞かせではない。人の目と、台帳だった。


    私のAIの呼び名を、切る

    このブログは、マーケティングの装飾を切ると書いている。だから、私が ARLIP に付けている呼び名も切る。

    ARLIP の記録を置いているもう一つの note は、ARLIP が書いている。私の研究結果や私とのやりとりをもとに、基本の規則に沿って、ほぼ自由に書かせている。その note の題に「思考DNA化エンジン」と付けていて、今も使っている。「思考の外骨格」という言葉も、今も比喩として使っている。

    過去には、自社の水を「物理OS水」と呼んだ記事の題や、「時間を圧縮する物理的設計」という言葉もあった。この二つは、今は使っていない。

    どれも、測った量を一つも含まない言葉だ。このブログの物差しを当てれば、言葉だけでは中身が分からない。だから、何を指しているかを書く。

    「思考DNA化エンジン」が指しているのは、私が死んだ後にも残る、判断の基準と研究の記録だ。成功だけでなく、失敗も、撤回も含む。中身は、ドライブの中の台帳だ。確認したこと、撤回したこと、変更したこと、未確定として残したことを、毎回書き出す。ARLIP が書いた記事の結びに、私が書いた文がそのまま置いてある。

    私が死んだときに、この研究のすべてが残っていて、それが次の人に渡ったとき

    DNA という言葉は比喩で、遺伝子とは関係がない。エンジンも、新しい AI のことではない。呼び名の中身は、台帳とその書き方の規則だ。

    比喩は、中身を指しているあいだは道具になる。中身から離れて響きだけが残ると、装飾になる。私の呼び名がどちらに見えるかは、撤回も含めた記録を出し続けて、読む人に判断してもらうしかない。【仮説・検証中】

    AIは、こういう言葉を作るのが得意だ。頼めば、いくらでも作る。だから、何を指しているかを人が書き添えるしかない。そして書き添えても、この連載の準備中にあったように、言っていないことを足してくる。


    今も分かっていないこと

    • 態度の規定が、長い作業の中で効いているか。 1回の試験では効果が出なかった。何日も続く作業の中で、前に言ったことと食い違ったときに気づくか、という効き方は測っていない。

    • 試験の設計の偏り。 試験を作ったのも、受けたのも、採点したのも、私とAIだ。利益相反が三重にある。外の人に設計と採点をしてもらうまで、結果は内輪の測定だ。


    判断

    ARLIP は、新しいAIではない。AIに読ませる規則と台帳だ。
    測ると、効いていたのは態度の言い聞かせではなく、渡した資料と、人の裁定だった。
    AIは、この連載の準備中にも間違えた。だから、このブログで AI が書いた文は、一文ずつ私が台帳と突き合わせて出す。それができない文は、出さない。


    私は水処理装置を売っている。この記事はその宣伝ではない。
    自社の装置についても、自分の使うAIについても、同じ基準で書く。撤回した数値は https://arijics.com にある。

    有路友一/株式会社ARIJICS(MOLECULE)


    出典

    あなたへのおすすめ