メインコンテンツへスキップ
見出し画像

「インプが3.8倍になった」は嘘だった——文体変更実験で2変数を同時に動かしていた記録

    「ちょっと嬉しい!のあとに、本当かな?と思った」

    8月9日の朝。自動化処理が終わったあと、いつものようにXアナリティクスを開いた。

    週間インプレッションが表示された瞬間、目が止まった。

    先週: 180。今週: 690。

    3.8倍。

    「ちょっと嬉しい!」という感情が走った。でも、ひと呼吸遅れて「本当かな?」という疑念が浮かんだ。

    原因には心当たりがあった。8月3日から文体を変えていた。それまでの短い箇条書きスタイルをやめて、敬語の長文スタイルに切り替えた。週に1本だけ長めのスレッドを入れることも始めた。

    なぜそこで手を打ったのか。2週間前から数字が落ち続けていたからだ。

    7月26日週のインプが480。その次の週が321(-33%)。さらに次が180(-44%)。3週連続で下がっていた。「このまま続けても意味がない。何かを変えなければ」という焦りが積み上がっていた。

    「文体かもしれない」という仮説は、割とすぐに浮かんだ。短い箇条書きは情報密度が低い。長文の方がエンゲージメントが取れると聞いたことがあった。それに文体という変数は、「変えた」「変えていない」が明確に区別できる。ほかの要素より操作しやすい。

    だから「文体を変える実験をしよう」と決めた。

    そして2週間後、インプが3.8倍になっていた。

    毎週続けている流通ログに数字を転記しようとして、手が止まった。投稿数の欄を埋めようとしたとき、ふと思った。

    「先週の投稿数って、いくつだったっけ?」

    その問いが、今回の失敗を掘り起こした。


    「自分でカウントして気づいた」——変数が1つ多かった

    XのポストをURLごとにひとつずつカウントした。週別に分けて、過去の投稿を遡った。

    8/2週(先々週): 10本。 8/9週(先週): 20本。

    投稿数が倍になっていた。

    最初、何を見ているのか一瞬わからなかった。「文体を変えた週」のはずが、「投稿量も2倍にした週」でもあった。

    自分では「文体だけを変える」と決めていた。でも投稿数についてはあまり意識しなかった。文体スタイルを変えたことで気軽に投稿しやすくなったのか、日常の流れの中でじわじわと本数が増えていた。意図したわけではなく、そうなっていた。

    「1変数を変えた実験」のつもりが、「2変数を同時に動かした実験」になっていた。

    数字を整理し直すと、こうなる。

    • 8/2週: 週間インプ180、投稿数10 → 1投稿あたり約18

    • 8/9週: 週間インプ690、投稿数20 → 1投稿あたり約34.5

    投稿総数で単純比較すれば3.8倍。でも1投稿あたりに換算すると、約1.9倍だ。

    画像

    「3.8倍が1.9倍か」というだけなら、まだいい。本当の問題はその先にある。

    1.9倍に増えた理由が「文体のせい」なのか「投稿量のせい」なのか、まったくわからないのだ。

    「敬語長文が読まれやすい」という仮説を検証したかったのに、「投稿数を増やせば絶対数は増える」という当たり前の事実が混入してしまった。仮説の検証どころか、「何を確認したかったのか」すら曖昧になった。

    『そんな細かいことを気にしなくていいんじゃないか。数字が増えたならいいじゃないか』と思う人もいるかもしれない。

    でも、考えてほしい。次の週、どうやって行動を決める?

    「文体を続けよう」と判断できる根拠がない。「投稿数を今週も20本にすれば増えるかもしれない。文体を戻して20本にしても増えるかもしれない。」どちらが効いているのかが見えないまま、「なんとなく伸びた週」という記録だけが残る。

    同じ実験を再現しようとしても、「文体変更」と「投稿数増加」のどちらを繰り返せばいいのかわからない。前回と同じ条件を揃えることができない。次の週は文体を変えたまま投稿数は10本に戻したら、数字はどうなるか。あるいは文体を元に戻して投稿数を20本にしたら、どうなるか。どれを試しても、結果から「何が原因か」を特定できない。

    これが今回の失敗の本質だった。

    SNSの施策判断が「感覚」になりやすい理由のほとんどは、ここにある。1つ変えたつもりが、実際には2つ以上動いていた。その結果、数字が変わっても「何が原因か」が言えなくなる。「再現できる自信がない」「次も同じことをしていいのか迷う」という感覚は、ここから来ることが多い。

    施策の効果を感覚だけで判断しているあいだは、再現性のある成果を積み上げていくことができない。


    正しい実験の設計は「変える変数」ではなく「変えない変数」を先に固定すること

    「1変数だけ変える」という原則は、多くの人が知っている。理科の授業で習った話だ。

    でも実際には、「何を変えるか」ばかりを考えてしまう。変える側に意識が集中するから、「何を変えないか」の宣言が抜ける。その結果、気づかないうちに別の変数も動いてしまう。

    正しい設計の順序は逆だ。

    「変えない変数のリスト」を先に書く。それから「変える変数」を1つだけ選ぶ。

    今回の失敗で言えば、こうなるはずだった。

    「今週の実験: 文体を敬語長文スタイルに変える。変えない変数は以下のとおり。dailyCap(1日の投稿数上限)は先週と同じ10本を維持する。投稿時間帯は変えない。ハッシュタグの有無も変えない。返信頻度も変えない。」

    この宣言を実験前にノートに書いておけば、20本に増えたことに途中で気づけた可能性が高い。少なくとも週末に数字を見たとき「投稿数を変えていなかったか確認しよう」という確認ポイントが生まれる。

    「変えない変数リスト」を先に書くというアクションは、単純に見えて効果が大きい。

    なぜかというと、人は「やりたいこと」に集中しているとき、「やらないこと」を意識的に制御できなくなるからだ。文体を変えることに熱中しているあいだ、投稿数を意識的に抑えることを思い出すのは難しい。でも「投稿数は変えない」という文字が事前にノートに書かれていれば、外部から自分の行動をチェックできる。

    脳の中だけで「変えないぞ」と決意しても、日常の流れで形骸化する。実験の前に外部の紙やファイルに書き出す——それだけで実験の精度は変わる。

    Xに限らない。本業での業務改善でも、コンテンツの内容変更でも、生活習慣の変更でも同じ構造が起きやすい。「今週から早起きに変えた」のに「夜の読書時間も増やした」という場合、体調が改善しても「早起きのせいか読書のせいか」がわからなくなる。

    「1投稿あたりのインプレッション」を補助指標として使う

    実験の精度を上げるための補助ツールとして、週次の「1投稿あたりインプレッション」を計算しておくことも有効だ。

    計算式は単純で、週間総インプレッション ÷ 週間投稿数。

    総インプレッションは投稿数に引きずられる。1本でも多く投稿すれば、総数は増える。でも「1投稿あたり」に換算することで、投稿量の影響を部分的に除外できる。内容・文体・タイミングの効果を比較しやすくなる。

    もちろんこれも万能ではない。フォロワーが増えれば母数が変わるし、1本バズれば平均が跳ね上がる。でも「先週と今週で何が変わったか」という週次の小さな変化を追うためには、絶対数より格段に使いやすい。

    今回の3.8倍という数字を「1投稿あたり」に直すと1.9倍だった。それだけでも「文体の効果を過大評価していた」という気づきは得られた。次の週から、この指標も流通ログに追加するようにした。


    「気づかずに変えた可能性があるものも含めて」——AIに聞くと盲点が見える

    この失敗以来、週末の振り返りにAIを参加させるようにした。

    方法はシンプルだ。先週と今週の投稿数・インプレッション・文体・投稿時間帯・使ったハッシュタグなど、手元にある数字をテキストにまとめてAIに貼る。そして次の問いを加えて送る。

    📋 コピー用(ChatGPT / Claude にそのまま貼る)

    以下は私のX(旧Twitter)の2週間分のデータです。
    先週と今週で、私が変えた要素を全部列挙してください。
    気づかずに変えた可能性があるものも含めてください。
    
    【先週】
    投稿数: 10本
    週間インプ: 180
    文体: 短い箇条書き
    主な投稿時間帯: 夜(21〜23時)
    
    【今週】
    投稿数: 20本
    週間インプ: 690
    文体: 敬語長文
    主な投稿時間帯: 朝・夜(7〜9時・21〜23時)
    

    「気づかずに変えた可能性があるものも含めて」というフレーズが重要だ。

    自分で変えたと認識している要素は自分でもわかる。盲点は常に「意識していなかった側」にある。AIに「自分が気づいていない変化」を探させることで、視野の外にある変数が浮かび上がりやすくなる。

    実際にこの問いを送ったとき、AIは「投稿数が10から20に増えています」だけでなく、「投稿時間帯に朝の枠が追加されています」「1投稿あたりの文字数が平均的に長くなっているため、1投稿で露出できる情報量が変わっています」という変化も挙げてくれた。

    投稿時間帯に朝の枠が増えていたことは、自分ではまったく意識していなかった。文体を変えたこと、投稿数が増えたことは認識していたが、時間帯も変わっていたとは思っていなかった。

    意識していた変数: 1個(文体) 実際に動いていた変数: 3個以上(文体・投稿数・時間帯)

    「1つ変えたつもり」が、実際には3つ動いていた。

    SNSに限らず、日常的に試行錯誤していると、自分では「これだけ変えた」と思っていても、知らないうちに複数の要素が変わっていることは珍しくない。習慣的な行動の中で、変化は静かに積み重なっていく。

    AIを使う利点は、自分が入力した「生データ」を外部の視点から読み直してくれる点にある。「気づかずに変えた可能性があるものも」という指示を入れることで、AIは記録に現れているすべての差分を拾おうとしてくれる。自分だけでは見落としていたものが出てきやすい。

    「どの施策が効いたのか判断できない」という悩みの多くは、実は「変数が複数動いていた」というシンプルな問題だ。

    AIに問いかけることで、自分の実験が「何を測っていたのか」を後から整理できる。完璧な実験設計は難しくても、「振り返りで変数を数える習慣」があるだけで、次の設計は確実に改善できる。

    施策の効果を「感覚」で捉えているあいだは、再現性のある判断を積み上げることができない。実験の精度の差ではなく、「自分が何を変えたか」を把握しているかどうかの差だ。


    まとめ:今日からできること

    • 過去の「改善した週」を1つ選び、変数の数を数え直す

      1. 「あの週に施策を打って数字が伸びた」と記憶している出来事を1つ選んで、当時のデータを引っ張り出す。投稿数・時間帯・文体・ハッシュタグ・その週の外部イベント(記事公開・再流通など)を全部書き出す。変数が2つ以上動いていた場合、その改善は「確認された成果」ではなく「次の仮説のヒント」として扱う。その区別をするだけで、次の判断の質が変わる。

    • 次の施策を決めるとき、「変えない変数リスト」を先に書く

      1. 「今週変えること: 文体のみ」で終わらず、「投稿数: 先週と同じ10本を維持。投稿時間帯: 変えない。ハッシュタグ: 変えない。」という形で変えない変数を明文化する。この宣言をノートやスプレッドシートに残しておくことで、実験中に気づかず別の変数を動かしてしまうことを防ぐ。実験前の3分で書ける。

    • 週末の振り返りにAIを1文加えて使う

      1. 週次データをAIに貼るとき「先週と今週で変えた要素を全部列挙してください。気づかずに変えた可能性があるものも含めて」という一文を足す。自分の盲点は自分では見えにくい。週に一度、外部から照らしてもらう習慣を作るだけで、「何が効いたのかわからない」という感覚は大きく減る。

    数字の変化を「なんとなく嬉しい」で終わらせるか、「次に再現できる根拠」として扱えるかは、実験の精度ではなく記録の習慣で決まる。

    1つ変えたつもりが2つ動いていた。それに気づくのに6週間かかった。同じ失敗を繰り返さないために、今日から「変えない変数リスト」を書くことだけ、試してみてほしい。


    📎 あわせて読む
    → AIは上手くない。それでも、AIコンテンツ販売をやめられない理由
    → AIコンテンツ生成、2〜3時間が10分になった:指示書×体験談ヒアリング×自動化で仕組みを作る全記録


    📌 この記事の著者について

    40歳の会社員が、AIと「第2の脳」を使って仕事と人生を設計し直している記録を書いています。
    → 自己紹介・入門ルートはこちら


    📌Xのフォローもお願いします。私の近況やAIなどに関する情報を日々アップしています。
    →にし部長|ひとりAI推進部


     
     

    nishi

     
     
    非エンジニアがAIとObsidianで「第2の脳」を自作。 ・製造業×データ分析 ・ローカルLLM、自動化、Vibe Coding ・再現できる仕組み 以上を発信。 質問・感想・取材・情報交換はXへ