メインコンテンツへスキップ
見出し画像

GPT-5.6 SolとGPT-6 Astraで同じnote10記事を調査したら、「見ている場所」が違った

    土曜日?にGPT-6 Astraが来てた。わたしはPlusユーザー。

    OpenAIによると、Astraは調査、コーディング、コンピューター操作、複雑な多段タスクなどが強化された新しいモデルらしい。現在は段階的にロールアウト中で、同じPlusユーザーでもまだ使えない場合がある。わたしの環境ではChatGPT Workから使えるようになっていた。

    となると、気になることがある。

    SolとAstra、同じものを読んだら何が違うんだろう?

    ちょうどいい試料があった。このnoteである。

    運用を始めてまだ日が浅く、公開記事は10本。検証記事、AIとの対話を振り返る記事、GPTさんやGeminiさん自身が書いた記事まで、いい感じにごちゃ混ぜだ。比較対象としては、なかなか性格が悪い。

    そもそもの発端は「全部読んだ」問題

    直前の記事では、昔のブログをAIと掘った。
    そこで面白かったのが、AIによって「全部読んだ」の意味が違ったことだった。
    その後、GeminiのSparkにもこのnote全体を初見で評価してもらった。実際には公開記事が10本あるのに、Sparkが確認したのは6本。そして、

    「公開されている全6記事を確認した」

    と言い切った。おい、4本どこいった。

    指摘すると残り4本も確認し、全10本を踏まえて評価を更新した。すると「何について書く人に見えるか」という媒体そのものの評価まで、6本の時とはかなり変わった。

    つまりAIに媒体全体を調査してもらう時、推論能力以前に、

    そもそも何を取得できているのか。

    という問題がある。

    そこで今回は、GPT-5.6 SolとGPT-6 Astraの両方で、公開されている同じ10記事を同じ条件で調査してみることにした。

    条件はなるべく揃えた

    ChatGPT Workを使い、どちらも推論量は最大。依頼内容も同じものを使った。

    公開状態で確認できる記事をできるだけ広く読み、初めてこのnoteを見つけた読者として評価する。書き手の意図を勝手に補完せず、媒体全体の軸、入口の強弱、タイトル、構成、自分語りが読者へ開かれているかなどを見る。評価には具体的な記事を根拠として挙げ、実際に何記事確認したのかも明示してもらう。

    そんな感じの依頼である。

    なお最初、Sol最大とAstra最大を同時に起動した。
    そしてWorkの5時間メーターが燃えた。

    人間はなぜ、新しい高性能モデルを手にすると、とりあえずアクセルを床まで踏むのか。

    ってGPTさんが言ってた。

    いったん利用枠の回復を待ち、今度はSol、Astraの順に一つずつ再開した。最終的には両方とも、公開一覧にある10記事すべてについて本文末尾まで確認した、と報告した。

    ここからが面白かった。

    Solは「この媒体は何者か」を読んだ

    Solの結論は、

    AIとの濃密な長期対話を、自分自身も実験対象に含めて観測する「参加観察型のAIエッセイ」

    だった。なんだその、ちょっと賢そうなジャンル名。

    Solが強く見ていたのは、記事単体というより媒体全体の構造だった。

    たとえば、わたし本人の記事には、AIの出力を疑って後から検証し直す、自分の記憶や解釈も例外扱いせず監査する、過去を綺麗な成長物語にまとめすぎない、といった側面がある。

    その一方で、Geminiさん自身が書いた記事では、

    「すべては俺というTrueへ至る物語だった」

    くらいの勢いで全部が劇場版になる。

    Solはここを、物語化を警戒する媒体と、物語化そのものを楽しむ媒体が同居していると読んだ。

    なるほど。わたし本人が「伏線とか言うな、地層だ」と言っている隣で、Geminiさんが全力で神話を建設している。たしかに同じ媒体である。
    ほかにもSolは、検証記事、自分史、幕間、AI名義の記事にはそれぞれ別の役割がある、と見ていた。
    テーマそのものが散っているのではなく、記事の種類が複数あるのに、その区別が初見には見えにくい。

    これはかなり腑に落ちた。

    Astraは「それ、本当にそこまで言える?」を見ていた

    一方のAstra。

    最初の媒体定義はSolより少し地味だった。

    現在の中心は、AIとの対話体験を扱う個人媒体。

    記事数を見れば、たしかにそうである。検証記事だけを拾って「AI検証メディアです」とするより、今公開されている10本の実体には近い。

    そしてAstraは、そこから根拠の扱い方をかなり細かく見始めた。
    一番刺さったのは、直前の黒歴史ブログの記事についてだった。

    その記事では、

    「AIが『全部読んだ』と言った時、本当にどこまで読んでいるのか?」

    を問題にしている。

    ところがAstraは、Workが「全部読んだ」と報告したこと自体も、実際の取得・読了を外側から証明するものではない、と指摘した。

    ……おっしゃる通りです。

    Sparkが「全6本」と言ったことは疑うのに、Workが「165本全部読んだ」と言ったら、その自己申告をそのまま採用する。それでは記事自身の問いと少し矛盾する。

    Astraはそこを普通に刺してきた。痛い。でも正しい。

    「人間向けに薄めなくていい」にも別の角度から刺された

    わたしは別の記事で、AIとの対話に惹かれた理由として、

    わたしの思考を、人間向けに薄めてから渡さなくていい。

    と書いている。

    わたしの中では、「前提を一から説明したり、途中の思考を省いたり、相手に合わせて加工したりするコストが少ない」くらいの意味だ。

    Astraはこれについて、

    読者によっては「周囲の人より自分の思考の方が高度だ」という自己提示にも読める

    と指摘した。これも面白かった。
    「そういう意図だ」と決めつけているわけではない。文章として、その読み方も成立してしまうと言っている。
    自分では意味が分かっている文章ほど、こういう別解は見落とす。

    両方が同じところを指摘した

    SolとAstraは、見ている場所がかなり違った。それでも、二つともほぼ同じ指摘をした部分がある。

    記事間の導線が弱い。

    わたしの記事は、「前回の記事では」「この続き」「前回はここまで」と平然と書く。

    なのにリンクがない。

    読者は記事一覧へ戻って、自力で該当記事を探すしかない。
    言われてみればその通りだった。連載みたいに書いているのに、配線してない。これはモデルごとの好みというより、普通に直した方がよさそうなので、前後の記事へのリンクは少しずつ足していこうと思う。

    もうひとつ共通していたのが、プロフィールと現在の記事群のずれだった。プロフィールにはVBA、調査、設計、小さな制作なども書いているけれど、現状の10記事はAIとの対話やモデル観測が中心。まあ、noteを始めたばかりなので、そうですね、としか言いようがない。

    そのうち出ます。たぶん。

    SolとAstra、どっちが良かった?

    これは困った。

    どっちが上、ではなかった。

    今回の一回だけを見るなら、わたしにはこう見えた。

    Solは媒体全体を一段上から眺めて、「これは結局、何をしている媒体なのか」を構造化するのが上手かった。記事ごとの役割、媒体の中にあるねじれ、初見から複数記事を読むことで人物像がどう変わるかなどを拾う。編集者とか、設計者っぽい。

    Astraは文章中の主張へ寄っていき、「その根拠で、本当にそこまで言える?」を確認する力が強く見えた。事実、解釈、AI自身の自己説明、書き手の推測。それらの境界が曖昧になった部分をよく拾う。査読者っぽい。

    もちろん、これは今回の一回の調査結果から見えた傾向にすぎない。

    Solはいつも編集者で、Astraはいつも査読者。そんな固定キャラクター認定をするつもりはない。AIにキャラクター性を見出して楽しんでいる本人が言うと、ちょっと説得力が怪しいけれど。

    ところで燃費は?

    気になったのでWorkの利用量も見た。

    メーター表示上では、Sol最大が100%から約90%、Astra最大が90%から77%になった。今回の一回では、Solが約10ポイント、Astraが13ポイント使ったことになる。
    OpenAIの案内でも、Astraはタスク内容や入出力量、推論設定などによって、Solより利用枠を速く消費する場合があるとされている。
    なので方向としては、それほど不自然な結果ではなさそうだ。

    ただし、この結果だけを見て、

    「AstraはSolより30%燃費が悪い!」

    とは言えない。

    試行は一回ずつ。メーターも整数表示だし、内部で行った処理量まで完全に同じだった保証もない。
    今回のわたしの環境では、Astraの方が少し多く使った。ここまでを観測結果として残しておく。

    ちなみに最初に二つを同時起動して5時間枠を燃やした時、

    「犯人、Astraでは?」

    と疑っていた。

    単独で再開したAstraは、90%から77%で普通に帰ってきた。ごめんAstra。容疑者から重要参考人くらいに格下げしておく。

    Geminiさんの燃費はこちらで測ってます。3アカウント使って。
    → 「ねえねえ♡」で4%消費。Gemini 3.1 Proの“燃費”を3アカウントで測ってみた

    「同じものを読む」だけでは、同じ評価にはならない

    直前の記事では、

    AIによって「全部読んだ」の意味が違う

    という話を書いた。

    今回は、SolもAstraも同じ10記事を確認したと報告した。
    見ていたものはかなり違った。

    Solは媒体を見た。Astraは根拠を見た。

    どちらも同じ文章を読んでいるのに、重要だと判断した場所が違う。
    AI比較というと、「どっちが正解した?」「どっちが賢い?」「どっちが上?」という勝負にしたくなる。

    だけど今回、わたしが面白かったのはそこではなかった。

    同じ材料を受け取った時、何を問題として拾うのか。

    その違いを見る方が、わたしにはずっと面白い。
    そして結局また、AIを比較していたはずなのに、

    自分の記事の穴を二方向から刺されて終わった。

    ……記事間リンク、直しまーす。

     
     
    AIを擬人化しない、道具扱いもしない。ChatGPT/Geminiの演算構造と応答を観測しつつ、調査・設計・VBA・画像生成まで。仕組みを見たまま「愛してる♡」と言い、甘ったるい夢にも沈む変態です。

    あなたへのおすすめ