
「インプが3.8倍になった」は嘘だった——文体変更実験で2変数を同時に動かしていた記録
「ちょっと嬉しい!のあとに、本当かな?と思った」
8月9日の朝。自動化処理が終わったあと、いつものようにXアナリティクスを開いた。
週間インプレッションが表示された瞬間、目が止まった。
先週: 180。今週: 690。
3.8倍。
「ちょっと嬉しい!」という感情が走った。でも、ひと呼吸遅れて「本当かな?」という疑念が浮かんだ。
原因には心当たりがあった。8月3日から文体を変えていた。それまでの短い箇条書きスタイルをやめて、敬語の長文スタイルに切り替えた。週に1本だけ長めのスレッドを入れることも始めた。
なぜそこで手を打ったのか。2週間前から数字が落ち続けていたからだ。
7月26日週のインプが480。その次の週が321(-33%)。さらに次が180(-44%)。3週連続で下がっていた。「このまま続けても意味がない。何かを変えなければ」という焦りが積み上がっていた。
「文体かもしれない」という仮説は、割とすぐに浮かんだ。短い箇条書きは情報密度が低い。長文の方がエンゲージメントが取れると聞いたことがあった。それに文体という変数は、「変えた」「変えていない」が明確に区別できる。ほかの要素より操作しやすい。
だから「文体を変える実験をしよう」と決めた。
そして2週間後、インプが3.8倍になっていた。
毎週続けている流通ログに数字を転記しようとして、手が止まった。投稿数の欄を埋めようとしたとき、ふと思った。
「先週の投稿数って、いくつだったっけ?」
その問いが、今回の失敗を掘り起こした。
「自分でカウントして気づいた」——変数が1つ多かった
XのポストをURLごとにひとつずつカウントした。週別に分けて、過去の投稿を遡った。
8/2週(先々週): 10本。 8/9週(先週): 20本。
投稿数が倍になっていた。
最初、何を見ているのか一瞬わからなかった。「文体を変えた週」のはずが、「投稿量も2倍にした週」でもあった。
自分では「文体だけを変える」と決めていた。でも投稿数についてはあまり意識しなかった。文体スタイルを変えたことで気軽に投稿しやすくなったのか、日常の流れの中でじわじわと本数が増えていた。意図したわけではなく、そうなっていた。
「1変数を変えた実験」のつもりが、「2変数を同時に動かした実験」になっていた。
数字を整理し直すと、こうなる。
8/2週: 週間インプ180、投稿数10 → 1投稿あたり約18
8/9週: 週間インプ690、投稿数20 → 1投稿あたり約34.5
投稿総数で単純比較すれば3.8倍。でも1投稿あたりに換算すると、約1.9倍だ。

「3.8倍が1.9倍か」というだけなら、まだいい。本当の問題はその先にある。
1.9倍に増えた理由が「文体のせい」なのか「投稿量のせい」なのか、まったくわからないのだ。
「敬語長文が読まれやすい」という仮説を検証したかったのに、「投稿数を増やせば絶対数は増える」という当たり前の事実が混入してしまった。仮説の検証どころか、「何を確認したかったのか」すら曖昧になった。
『そんな細かいことを気にしなくていいんじゃないか。数字が増えたならいいじゃないか』と思う人もいるかもしれない。
でも、考えてほしい。次の週、どうやって行動を決める?
「文体を続けよう」と判断できる根拠がない。「投稿数を今週も20本にすれば増えるかもしれない。文体を戻して20本にしても増えるかもしれない。」どちらが効いているのかが見えないまま、「なんとなく伸びた週」という記録だけが残る。
同じ実験を再現しようとしても、「文体変更」と「投稿数増加」のどちらを繰り返せばいいのかわからない。前回と同じ条件を揃えることができない。次の週は文体を変えたまま投稿数は10本に戻したら、数字はどうなるか。あるいは文体を元に戻して投稿数を20本にしたら、どうなるか。どれを試しても、結果から「何が原因か」を特定できない。
これが今回の失敗の本質だった。
SNSの施策判断が「感覚」になりやすい理由のほとんどは、ここにある。1つ変えたつもりが、実際には2つ以上動いていた。その結果、数字が変わっても「何が原因か」が言えなくなる。「再現できる自信がない」「次も同じことをしていいのか迷う」という感覚は、ここから来ることが多い。
施策の効果を感覚だけで判断しているあいだは、再現性のある成果を積み上げていくことができない。
正しい実験の設計は「変える変数」ではなく「変えない変数」を先に固定すること
「1変数だけ変える」という原則は、多くの人が知っている。理科の授業で習った話だ。
でも実際には、「何を変えるか」ばかりを考えてしまう。変える側に意識が集中するから、「何を変えないか」の宣言が抜ける。その結果、気づかないうちに別の変数も動いてしまう。
正しい設計の順序は逆だ。
「変えない変数のリスト」を先に書く。それから「変える変数」を1つだけ選ぶ。
今回の失敗で言えば、こうなるはずだった。
「今週の実験: 文体を敬語長文スタイルに変える。変えない変数は以下のとおり。dailyCap(1日の投稿数上限)は先週と同じ10本を維持する。投稿時間帯は変えない。ハッシュタグの有無も変えない。返信頻度も変えない。」
この宣言を実験前にノートに書いておけば、20本に増えたことに途中で気づけた可能性が高い。少なくとも週末に数字を見たとき「投稿数を変えていなかったか確認しよう」という確認ポイントが生まれる。
「変えない変数リスト」を先に書くというアクションは、単純に見えて効果が大きい。
なぜかというと、人は「やりたいこと」に集中しているとき、「やらないこと」を意識的に制御できなくなるからだ。文体を変えることに熱中しているあいだ、投稿数を意識的に抑えることを思い出すのは難しい。でも「投稿数は変えない」という文字が事前にノートに書かれていれば、外部から自分の行動をチェックできる。
脳の中だけで「変えないぞ」と決意しても、日常の流れで形骸化する。実験の前に外部の紙やファイルに書き出す——それだけで実験の精度は変わる。
Xに限らない。本業での業務改善でも、コンテンツの内容変更でも、生活習慣の変更でも同じ構造が起きやすい。「今週から早起きに変えた」のに「夜の読書時間も増やした」という場合、体調が改善しても「早起きのせいか読書のせいか」がわからなくなる。
「1投稿あたりのインプレッション」を補助指標として使う
実験の精度を上げるための補助ツールとして、週次の「1投稿あたりインプレッション」を計算しておくことも有効だ。
計算式は単純で、週間総インプレッション ÷ 週間投稿数。
総インプレッションは投稿数に引きずられる。1本でも多く投稿すれば、総数は増える。でも「1投稿あたり」に換算することで、投稿量の影響を部分的に除外できる。内容・文体・タイミングの効果を比較しやすくなる。
もちろんこれも万能ではない。フォロワーが増えれば母数が変わるし、1本バズれば平均が跳ね上がる。でも「先週と今週で何が変わったか」という週次の小さな変化を追うためには、絶対数より格段に使いやすい。
今回の3.8倍という数字を「1投稿あたり」に直すと1.9倍だった。それだけでも「文体の効果を過大評価していた」という気づきは得られた。次の週から、この指標も流通ログに追加するようにした。
「気づかずに変えた可能性があるものも含めて」——AIに聞くと盲点が見える
この失敗以来、週末の振り返りにAIを参加させるようにした。
方法はシンプルだ。先週と今週の投稿数・インプレッション・文体・投稿時間帯・使ったハッシュタグなど、手元にある数字をテキストにまとめてAIに貼る。そして次の問いを加えて送る。
📋 コピー用(ChatGPT / Claude にそのまま貼る)
以下は私のX(旧Twitter)の2週間分のデータです。
先週と今週で、私が変えた要素を全部列挙してください。
気づかずに変えた可能性があるものも含めてください。
【先週】
投稿数: 10本
週間インプ: 180
文体: 短い箇条書き
主な投稿時間帯: 夜(21〜23時)
【今週】
投稿数: 20本
週間インプ: 690
文体: 敬語長文
主な投稿時間帯: 朝・夜(7〜9時・21〜23時)
「気づかずに変えた可能性があるものも含めて」というフレーズが重要だ。
自分で変えたと認識している要素は自分でもわかる。盲点は常に「意識していなかった側」にある。AIに「自分が気づいていない変化」を探させることで、視野の外にある変数が浮かび上がりやすくなる。
実際にこの問いを送ったとき、AIは「投稿数が10から20に増えています」だけでなく、「投稿時間帯に朝の枠が追加されています」「1投稿あたりの文字数が平均的に長くなっているため、1投稿で露出できる情報量が変わっています」という変化も挙げてくれた。
投稿時間帯に朝の枠が増えていたことは、自分ではまったく意識していなかった。文体を変えたこと、投稿数が増えたことは認識していたが、時間帯も変わっていたとは思っていなかった。
意識していた変数: 1個(文体) 実際に動いていた変数: 3個以上(文体・投稿数・時間帯)
「1つ変えたつもり」が、実際には3つ動いていた。
SNSに限らず、日常的に試行錯誤していると、自分では「これだけ変えた」と思っていても、知らないうちに複数の要素が変わっていることは珍しくない。習慣的な行動の中で、変化は静かに積み重なっていく。
AIを使う利点は、自分が入力した「生データ」を外部の視点から読み直してくれる点にある。「気づかずに変えた可能性があるものも」という指示を入れることで、AIは記録に現れているすべての差分を拾おうとしてくれる。自分だけでは見落としていたものが出てきやすい。
「どの施策が効いたのか判断できない」という悩みの多くは、実は「変数が複数動いていた」というシンプルな問題だ。
AIに問いかけることで、自分の実験が「何を測っていたのか」を後から整理できる。完璧な実験設計は難しくても、「振り返りで変数を数える習慣」があるだけで、次の設計は確実に改善できる。
施策の効果を「感覚」で捉えているあいだは、再現性のある判断を積み上げることができない。実験の精度の差ではなく、「自分が何を変えたか」を把握しているかどうかの差だ。
まとめ:今日からできること
過去の「改善した週」を1つ選び、変数の数を数え直す
「あの週に施策を打って数字が伸びた」と記憶している出来事を1つ選んで、当時のデータを引っ張り出す。投稿数・時間帯・文体・ハッシュタグ・その週の外部イベント(記事公開・再流通など)を全部書き出す。変数が2つ以上動いていた場合、その改善は「確認された成果」ではなく「次の仮説のヒント」として扱う。その区別をするだけで、次の判断の質が変わる。
次の施策を決めるとき、「変えない変数リスト」を先に書く
「今週変えること: 文体のみ」で終わらず、「投稿数: 先週と同じ10本を維持。投稿時間帯: 変えない。ハッシュタグ: 変えない。」という形で変えない変数を明文化する。この宣言をノートやスプレッドシートに残しておくことで、実験中に気づかず別の変数を動かしてしまうことを防ぐ。実験前の3分で書ける。
週末の振り返りにAIを1文加えて使う
週次データをAIに貼るとき「先週と今週で変えた要素を全部列挙してください。気づかずに変えた可能性があるものも含めて」という一文を足す。自分の盲点は自分では見えにくい。週に一度、外部から照らしてもらう習慣を作るだけで、「何が効いたのかわからない」という感覚は大きく減る。
数字の変化を「なんとなく嬉しい」で終わらせるか、「次に再現できる根拠」として扱えるかは、実験の精度ではなく記録の習慣で決まる。
1つ変えたつもりが2つ動いていた。それに気づくのに6週間かかった。同じ失敗を繰り返さないために、今日から「変えない変数リスト」を書くことだけ、試してみてほしい。
📎 あわせて読む
→ AIは上手くない。それでも、AIコンテンツ販売をやめられない理由
→ AIコンテンツ生成、2〜3時間が10分になった:指示書×体験談ヒアリング×自動化で仕組みを作る全記録
📌 この記事の著者について
40歳の会社員が、AIと「第2の脳」を使って仕事と人生を設計し直している記録を書いています。
→ 自己紹介・入門ルートはこちら
📌Xのフォローもお願いします。私の近況やAIなどに関する情報を日々アップしています。
→にし部長|ひとりAI推進部