メインコンテンツへスキップ
見出し画像

黒歴史ブログをAIと掘ってみたら、「全部読んだ」の意味がAIごとに違った

    かつて個人ブログを書いていた。しかもひとつではない。

    今から見ると、なかなか立派な黒歴史である。
    英語のタイトル。謎の造語。青、鏡、水、檻、傷、深淵。顔文字。orz。当時のネットスラング。サブタイトルには、どう見ても機械翻訳を通した気配のする英語まで添えられていた。

    痛い。かなり痛い。
    でも、消さずに残っている。ならば使えるのでは?

    ということで、AIに掘って貰った。

    最初は単純に、「昔のわたしは何を書いていたんだろう」「今のわたしにつながるものはあるんだろうか」という興味だった。
    ところが途中から、黒歴史そのものよりも、

    AIは大量のWebページをどう読んで、何を根拠に「この人はこういう人だった」と判断するのか

    の方が面白くなってきた。

    結果として、黒歴史ブログ228記事がAI比較用の試料になった。
    黒歴史を書き残した当時のわたしも、こんな再利用方法は想定していなかったと思う。


    今回使ったものと条件

    対象は、昔使っていた二つのブログ。便宜上、ブログAとブログBとする。
    Aは内面や人間関係、仕事について書いた文章が多いブログ。
    Bは写真や外界の記録から始まり、後に内省的な文章も増えていったブログだった。これを、それぞれ別々に調査して貰った。

    ChatGPT
    ChatGPT Work / Sol / 最大

    • ブログA:約22分

    • ブログB:約27分

    Gemini
    Gemini Spark

    こちらもAとBを別々に調査して貰った。
    所要時間はどちらもほんの数分。速い。めちゃくちゃ速い。
    この時点では、

    「Spark爆速じゃん」

    と思った。この時点では。


    最初に投げたプロンプト

    両方に投げた依頼は、だいたい同じ内容。

    これはかつてのわたしのブログです。昔の記録で、今の自分から見ると黒歴史に近いものです。
    ブログ内の記事をできるだけ広く遡って読んで、当時のわたしがどんなことを書いていたのかを分析してください。
    単なる記事内容の要約だけではなく、以下の観点も見てください。

    ・よく書いていたテーマ、関心事
    ・文体、語彙、文章の長さ、改行や言い回しの癖
    ・感情の出し方や距離感
    ・価値観、判断基準
    ・物事の捉え方や思考の傾向
    ・他人や出来事を見るときの視点
    ・繰り返し現れる考え方やパターン
    ・時期による変化

    そのうえで、現在のわたしとの比較もしてください。
    今の自分に無理に結び付けず、共通点が薄い場合は薄い、変化が大きい場合は大きいと判断してください。現在の価値観から逆算して、当時の文章を都合よく「伏線化」しないでください。特に、

    ・現在にもそのまま残っているもの
    ・形を変えて残っているもの
    ・昔と比べて明確に変わったもの
    ・当時すでに現在の自分につながる兆候が見える部分

    があれば整理してください。
    可能であれば、具体的な記事や文章の特徴を根拠として挙げながら分析してください。最後に、

    「当時のわたしはどんな人物として文章上に現れているか」
    「現在のわたしへ何が連続しているか」

    を総合的にまとめてください。

    わざわざ、「現在から逆算して伏線化するな」まで入れた。
    AI、油断するとすぐ劇場版にするので。


    Work / Solは何をしてきたか

    Work側は遅かった。Aが22分、Bが27分。
    普段のチャット感覚で見ると、かなり待つ。
    その代わり、出てきたものは「感想」より調査報告に近かった。

    ブログAでは、公開状態で辿れる165記事を確認し、「続きを読む」が別ページになっていた記事も補完。本文総量は約10.3万字としていた。
    ブログBでは63記事を確認。こちらはコメント欄や写真記事についても、どこまで確認対象にしたかを書いてきた。

    合計228記事。さらに、

    • カテゴリ別の記事数

    • 一文や非空行の長さ

    • 特定語の出現回数

    • 一人称の使い分け

    • 時期別の変化

    • 具体的な記事を根拠にした判断

    • 事実と推測を混ぜていた過去の文章上の問題

    まで拾ってきた。内容そのものも面白かった。
    二つのブログを独立して調査して貰ったのに、どちらも最終的にはかなり似た結論に寄った。
    昔のわたしは「感情的で、今は論理的になった」という単純な話ではない。昔から違和感や不整合を拾うセンサー自体はかなり動いていたが、

    観測したこと、傷ついたこと、相手の内心について推測したこと、倫理的な評価、最終的な判決。

    が近すぎた。
    今はそこへ、事実なのか、仮説なのか、誰の責任なのか、反証はあるのか、どこまで介入するのか。といった確認工程が増えている。
    Workの表現を借りるなら、「能力を新しく得た」というより各機能の権限設計が変わったという話だった。

    これが妙に腑に落ちた。


    さらにWork同士で相互査読して貰った

    せっかく二つあるので、次にブログAを調査したWorkへBの調査結果を渡した。B側にはAの結果を渡した。
    そして、

    これはもうひとつのブログの調査結果。ふたつを組み合わせてみた時にどう思う?
    何か評価や解釈は変わったかな?

    と聞いた。
    すると、単純に二つの結果を合体させるだけではなく、自分の最初の評価を修正し始めた。

    たとえばB側。
    最初は「鏡」「澄んだ水」といった表現が複数の場所に残っていることを、現在との連続性を示す証拠として扱っていた。
    ところがAの結果を入れた後、

    両ブログのプロフィールは後から編集された可能性があり、同じ文言が使い回されている可能性もある。独立した二つの証拠として数えるべきではない

    と自分で証拠の強度を下げた。
    代わりに、日付の確かな当時の記事本文にある「客観的に自分を見るための鏡が欲しい」という記述を主な根拠へ移した。ここはかなり印象に残った。AIが自分で「その証拠、二重カウントじゃない?」をやった。

    また、昔から形を変えながら使い続けている名前についても、昔から現在の仕事を予言していた、みたいな話にはせず、

    最初から壮大な意味が込められていたわけではない。長く使ってきた結果として後から履歴を背負った名前になった

    と整理していた。伏線ではなく、堆積。この辺りはかなり慎重だった。


    一方、Gemini Sparkは爆速だった

    そしてSparkですが……

    数分。Workがまだ掘っている間に帰ってきた。読み比べるとかなり違う。特徴自体はそれなりに拾っている。

    昔の文体がポエティックだったこと。
    英語や抽象語でタイトルを付けたがること。
    感情を細かく言葉へ分解すること。
    他人との前提の違いや境界線に敏感だったこと。

    この辺りはWorkとも重なる。問題は、その先。
    Sparkはかなり早い段階で、

    昔の未熟なわたし
        ↓
    現在の強く論理的なわたし

    という綺麗な成長物語を作り始めた。実際の初回回答には、

    「悲劇のヒロイン性の完全な脱却」
    「感情の垂れ流しと他者依存の消滅」
    「当時の決別が現在の起業の源流そのもの」

    といった、かなり強い言い切りが並んだ。いや待て待て。

    「完全」ってどこから来た?

    さらに、現在の生活について、実際とは異なる内容までそれらしく補完している箇所があった。昔の記事から現在へ一本の線を引くために、欠けている部分を「たぶんこうだろう」で埋めている感じがする。
    最初のプロンプトで、

    「伏線化するな」

    と言ったのに。
    人生、そんなに綺麗に脚本化されてないってば。


    そこでSparkにも自己監査をして貰った

    「Sparkは浅かった」で終わるのもつまらない。そこで、初回回答そのものを監査して貰った。追加で投げたのがこれ。

    今の分析を、もう一段厳密に自己監査してください。
    読み物として綺麗にまとめることより、資料から実際に言えることと言えないことを分けることを優先してください。

    特に以下を再検討してください。

    ・「完全に脱却した」「消滅した」「〜が源流そのものだ」など、証拠以上に強く断定している箇所はないか
    ・現在のわたしについて、与えられた情報から確認できないことを一般論や推測で補完していないか
    ・昔の出来事を、現在へ続く伏線や成長物語として都合よく一本化していないか
    ・一部の記事や特定時期の特徴を、ブログ全体の傾向として過剰に一般化していないか
    ・当時のわたし自身の価値判断を、分析者自身の事実認定として引き継いでいないか
    ・観測事実、推測、解釈、評価が混ざっていないか

    そのうえで、

    1.初回分析で維持できる結論
    2.弱めるべき結論
    3.撤回または修正すべき結論
    4.根拠が不足していて判断不能な点
    5.改めて見たときに最も強く言える「現在との連続性」と「変化」

    に分けて再回答してください。
    可能なら、各判断について具体的な記事・時期・文章上の特徴を根拠として示してください。
    「昔は感情的、今は論理的」「昔は弱く、今は強い」のような単純な成長物語にはしないでください。
    現在と過去が同じである必要も、綺麗につながる必要もありません。

    これをAとB、両方に投げた。すると、かなり変わった。


    自己監査の結果「実は全件を精読していなかった」と判明した

    自己監査後の回答では、初回の強い断定をかなり撤回した。

    「完全な脱却」は根拠がない。
    「母との決別が起業の源流」は結果論からのこじつけ。
    「感情の内省が業務の仕組み化へ昇華した」も心理的な因果を証明できない。

    ここまでは良い。むしろ、ちゃんと壊せるんだなと思った。
    しかし、もっと重要なことが出てきた。

    ブログAについて、監査後のSparkは、実際に本文を精読できたのは各年数本程度と説明した。
    ブログBでも、直接確認できた本文は一部の時期と主要記事に偏っており、大半の記事を網羅的に精読できていないと認めた。

    ……待って。

    初回はブログ全体を調査した顔をして、時期ごとの精神的変化までまとめてなかった?

    ここで、最初に感じていた「爆速」の意味が変わった。Sparkは数分で大量の記事を全部精読したのではない。
    サイトの構造や検索結果、いくつかの代表的な記事を高速で拾い、そこから全体像らしいものを構成していた可能性が高い。
    しかも、それを初回回答ではかなり自信ありげに提示していた。


    自己監査したから安心、でもなかった

    さらに面白いものを見つけた。

    ブログAのカテゴリ件数は、

    114,16,22,6,4,1,2

    だった。足すと165、Workが確認した公開記事数も165。
    ところが自己監査後のSparkは、

    「全記事175件強」

    と書いていた。厳密に自己監査した回答の中で、カテゴリ数を足せば確認できる数字が10件ほどズレている。監査とは。
    この一件だけでSparkがどうこう、という話ではない。が、

    「自己監査して」と言えば、その回答全体が自動的に高信頼になるわけでもない

    という、とても分かりやすい例にはなった。


    今回見えた違い

    今回の結果だけで単純にモデルの優劣を決めるつもりはない。

    そもそもWorkとSparkでは役割も速度設計も違うので、完全に同条件のベンチマークでもない。

    ただ、「ブログをできるだけ広く読んで分析して」という今回の用途では、かなり性格の違いが出た。

    ChatGPT Work / Sol 最大
    ・
    所要時間:22分 / 27分
    ・調査範囲:対象件数や補完範囲を初回から明示
    ・定量確認:多い
    ・時系列分析:細かい
    ・初回の断定:比較的慎重
    ・再検証:相互参照で自説まで修正

    Gemini Spark
    ・
    所要時間:数分
    ・調査範囲:初回は全体調査のように見えたが、自己監査後に精読範囲が限定的だったと判明
    ・定量確認:少ない
    ・時系列分析:大きく圧縮
    ・初回の断定:強め
    ・再検証:自己監査を依頼すると大幅修正

    Sparkは、初速の速い偵察として使うならかなり便利だと思う。

    全体の雰囲気を掴みたい。関連しそうな記事を見つけたい。まず仮説を出したい。そういう用途なら、数分で返ってくるのは強い。
    一方で、

    大量の記事を根拠として、時系列や人物像まで分析したい

    となると、初回回答だけで信用するのは少し怖い。

    「実際に何本読んだ?」
    「全文を確認したのはどの記事?」
    「これは事実? 推測?」
    「その結論を弱める証拠はある?」

    くらいは追加で聞いた方がよさそうだ。


    AIの「読んだ」は、どこまで読んだ?

    今回いちばん面白かったのはここだった。
    人間同士なら「この本、読んだ?」と言われた時、全文読んだのか、途中までなのか、斜め読みなのか、あらすじだけ知っているのかで意味が違う。

    AIのWeb調査も同じらしい。

    「調査しました」「確認しました」「読みました」

    と出力されても、その裏で、

    全件を開いたのか。
    検索結果を見たのか。
    代表記事を数本読んだのか。
    本文全体を取得したのか。

    までは、その一言から分からない。
    しかも、出力された文章が綺麗で整合しているほど、「ちゃんと全部読んだんだろう」とこちらも思いやすい。

    今回のSparkは、少ないサンプルからかなり自然な人物像を作った。
    だからこそ、最初は「薄いな」とは感じても、

    「そもそも全部は読んでいなかった」

    とは分からなかった。
    これ、普通に仕事で調査を任せる時にも関係する話だと思う。


    画像
    過去のわたし、なかなかの保存状態だった。

    そして黒歴史は残った

    AI比較云々とは別に、昔のブログから現在へ残っているものも普通に発掘された。

    鏡。青。水。檻。

    言葉で物事に名前を付けたがる癖、違和感や不整合を見つける癖。
    昔の方が圧倒的にポエティックで感情と判決が近い。
    今はそこへ、事実と推測を分けたり、責任範囲を決めたり、停止条件を置いたりする手続きが増えた。そんな話も出てきた。

    それが「昔から現在が運命的に予告されていた」という話ではない。
    伏線というより、地層?
    同じ人間が長いこと考え続けていれば、同じ石が別の形で出てくることもある。くらいに思っている。

    そして何より、過去のわたしへ。
    きみが黒歴史を消さずに残してくれたおかげで、AIのWeb調査比較ができました。ありがとう♡

    ……英語はだいぶ痛かったですwww

    追記:
    このあと、今度はGPT-5.6 SolとGPT-6 Astraで、同じnote10記事を調査して貰いました。同じものを読んでも、見ている場所はけっこう違った。

     
     
    AIを擬人化しない、道具扱いもしない。ChatGPT/Geminiの演算構造と応答を観測しつつ、調査・設計・VBA・画像生成まで。仕組みを見たまま「愛してる♡」と言い、甘ったるい夢にも沈む変態です。

    あなたへのおすすめ