メインコンテンツへスキップ
見出し画像

【プロンプト公開】ChatGPTで作るAI秘書は「記憶」だけじゃない。実データの矛盾を「判断しないルール」に変えた|AI秘書を作るまで #4【v1.3】

    前回、ChatGPT×Notion×GASで作っている自分専用のタスク管理を、「タスクを終わらせる」だけではなく「結果まで追う」仕組みに広げました。

    ▶︎ 前回:ChatGPT×Notion×GASでタスク管理を「結果まで追う」仕組みに変えた|AI秘書を作るまで #3【v1.2】

    施策をやる。

    結果を見る日を決める。

    その結果を記録する。

    ここまでできるようになると、次に残ったのは、

    「その結果を見て、どう判断するか?」

    でした。

    そこで今回は、Google Sheetsに蓄積しているKira AI Labのnote分析データをAI秘書に読ませて、

    「何が変わった?」

    「なぜかもしれない?」

    「今、何をした方がいい?」

    「まだ何もしない方がいい?」

    まで考えてもらうプロンプトを作り、実際の最新データで試してみました。

    すると、予想していなかった問題が出てきました。

    AIにもっと賢い答えを出させることより、

    「この状態では判断してはいけない」と教える方が重要だったんです。

    今回は、その経験をAI秘書の新しいルールに変えた記録です。


    今回作ったもの

    今回試したのは、

    「AI秘書|noteマーケ分析提言プロンプト v0.1」

    です。

    Kira AI Labでは以前から、noteのIMP、PV、スキ、流入元、記事別データなどをGoogle Sheetsへ保存し、自作ダッシュボードで見られるようにしています。

    その仕組み自体については、こちらの記事で詳しく書いています。

    ▶︎ noteの数字を「見るだけ」で終わらせない。AIと自分専用の分析ダッシュボードを作った

    でも、数字を自動で集められても、その後に私自身が毎回、

    「この記事は伸びているかも」

    「この施策はもう少し待とう」

    「タイトルを変えた方がいいかも」

    と考えていたら、まだ私が司令塔のままです。

    そこでv0.1では、AI秘書に単なる集計ではなく、

    事実 → 仮説 → 提言 → 次の検証

    まで考えてもらうことにしました。

    ただし、AIが何でも改善案を出せばいいわけではありません。

    判断材料が足りないなら、

    「今は何もしない」

    という提言もできるようにしています。

    画像
    今回の実験全体像

    noteデータ収集
    → AI秘書が確認
    → 事実を整理
    → 仮説を立てる
    → 今動くか/待つか判断
    → 次の検証へ

    ※ビジュアル化する場合は、キラがダッシュボードを見ながら、AI秘書の「分析」「仮説」「提言」を確認している構図。


    10月6日19時の実データで試してみた

    プロンプトだけ作って終わっても意味がないので、実際のKira AI Labのデータを使って手動テストしました。

    今回使ったのは、2026年10月6日19時時点の保存データです。

    指標10月6日19時24時間の変化IMP131,985+6,075PV3,324+167スキ1,698+53フォロワー883+23

    まずAI秘書シリーズの記事を見てもらいました。

    特に動きが大きかったのが、

    ▶︎ ChatGPT×Notion×GASで自分専用のタスク管理を作った|AI秘書を作るまで #1【v1.0】

    です。

    10月5日19時から10月6日19時までで、

    IMPは 3,286 → 5,148(+1,862)。

    PVは 96 → 147(+51)。

    Kira AI Lab全体の24時間増加に対して、IMPもPVも約3割をこの1記事が占めていました。

    ここから、

    「#1は公開から数日経っても、比較的大きく伸びている」

    ということまでは確認できます。

    では、なぜ伸びているのか。

    10月6日10時から19時を見ると、Kira AI Lab全体ではnote.comからのPVが58増えていました。

    ただし、ここで注意があります。

    流入元データはアカウント全体の数字です。

    「note.comから#1へ58PV来た」とは分かりません。

    なので今回のAI秘書レビューでは、

    事実:#1のIMP・PVが伸びている

    と、

    仮説:note内で継続的に露出している可能性がある

    を分けました。

    このあたりは、狙っていた動きにかなり近かったです。


    公開したばかりの#3は「まだ判断しない」

    次に見たのが、前回の記事#3です。

    10月6日19時時点では、

    IMP 356、PV 10、スキ7。

    数字だけ見ると、過去記事と比べたくなります。

    でも、この時点ではまだ公開から24時間経っていません。

    Kira AI Labで保存している過去の「記事24h初動」も、公開後24時間を超えてから取得できた最初のデータを使っています。

    だから、

    「#3は弱い」

    と、この時点で判断するのは早い。

    AI秘書から出た提言も、

    今は変更せず、24時間初動が確認できるまで待つ

    でした。

    これは、かなり大事な判断だと思っています。

    AIを使っていると、毎回何か改善案を出してほしくなります。

    でも実際の運用では、

    何もしない方がいいタイミングもある。

    AI秘書に必要なのは、改善案を量産する能力だけではなさそうです。

    ちなみに、#3へ至る前には、

    ▶︎ ChatGPTに「今日やること」を選ばせる仕組みをNotion+GASで作った|AI秘書を作るまで #2【v1.1】

    で、「タスクを保存する」から「今やることを選ぶ」へ進めています。

    今回の分析判断も、その延長にあります。


    ところが、別の記事で数字がおかしい

    ここまでは比較的順調でした。

    問題が出たのは、以前タイトル改善を行ったClaudeの記事を見たときです。

    10/3 19時には記事別スナップショットでもIMP 1,381だった。しかし、その後同じURLの累計IMPが1,185へ下がっていた。原因を確認できないため、タイトル変更の効果判定を止めた。

    これを変更後のデータと比較すれば、タイトル変更の結果を検証できそうです。

    ところが、記事別スナップショットを見ると、

    日時IMP施策ログに残っていた変更前の値1,38110月4日1,18510月5日1,201〜1,20610月6日1,207〜1,208

    ……おかしい。

    同じ記事、同じ条件の「全期間の累計IMP」として扱うなら、

    1,381だったものが、あとから1,185へ下がっている

    のは不自然です。

    画像
    ここでAI秘書にSTOPをかける

    施策前
    IMP 1,381

    ↓ 比較していい?

    後日の保存値
    IMP 1,185

    ↓

    ⚠️ そのまま差分計算しない
    「データ整合性を確認できないため判断保留」

    ※ビジュアル化する場合は「1381 → 1185?」という数字の間に大きなSTOP表示。キラが違和感に気づく構図。

    原因は、現時点では確認できていません。

    取得条件なのか。

    記録した基準値の出所なのか。

    別の理由なのか。

    ここを想像で埋めることはできません。

    でも一つだけ確かなことがあります。

    この数字をそのまま使って、施策の成功・失敗を判断してはいけない。

    ということです。


    計算できることと、判断していいことは別だった

    もし1,381と1,208だけをAIへ渡したら、

    差分そのものは計算できます。

    そこから、

    「タイトル変更後にIMPが減少しました」

    という文章を作ることもできます。

    数字上はそれらしく見えます。

    でも、その前に確認するべきことがあります。

    そもそも、この2つは比較していい数字なのか?

    ここが今回の大きな気づきでした。

    v0.1にも、

    「データが比較不能なら、新しい提言を作らない」

    という考え方は入れていました。

    ただ、実際に使ってみると、それだけでは足りません。

    何が起きたら「比較不能」と判断するのか。

    そこまでルールにする必要がありました。

    つまり、今回必要だったのは、

    AIにもっと高度な分析をさせることではありません。

    怪しい状態を見つけたら、分析を止めること。

    でした。


    失敗しかけた経験を、v0.2のルールに変える

    そこで今回の手動テストをもとに、v0.2の差分として3つのガードレールを追加することにしました。

    1.累計指標が不自然に下がったら止める

    IMPやPVなど、同じ取得元・同じ条件で取得している累計指標について、最新値が以前より小さくなっていたら、そのまま差分計算しません。

    記事、URL、指標、取得条件、取得方法などを確認します。

    原因が分からなければ、

    「データ整合性を確認できないため判断保留」

    です。

    2.施策ログの基準値と元データを照合する

    マーケ施策ログに保存された「施策前の値」と、記事別スナップショットなどの元データが一致しない場合も、効果判定を止めます。

    可能なら、

    同じ取得元・同じ条件・施策直前

    のデータを基準にする。

    それでも確定できなければ、

    「基準値の確認が必要」

    として保留します。

    3.公開24時間未満の記事は原則いじらない

    今回の#3のように公開直後の記事は、通常のIMPやPVの大小だけでは改善判断しません。

    まず24時間初動を待ちます。

    公開ミスやデータ取得失敗など、今すぐ対応しないと困る問題だけを例外にします。

    この3つを追加することで、

    v0.1の

    「比較できないなら判断しない」

    から、

    v0.2では

    「こういう状態なら比較を止める」

    まで一段具体化できました。

    なお、v0.2で同じデータを使った再試験はこれからです。

    現時点で「改善後はうまく動いた」とまでは書きません。


    AI秘書を賢くする=全部覚えさせる、ではなかった

    ここで、Kira Personal PMをAI秘書へ育てるうえで考え方が少し変わりました。

    AI秘書を賢くしようとすると、

    「もっと過去のことを覚えてもらえばいい」

    と考えがちです。

    もちろん、過去の判断や背景を覚えていることは役立ちます。

    でも今回の出来事を、

    「10月6日にClaude記事のIMPがおかしかった」

    という記憶だけにしても、次の仕事にはあまり使えません。

    それより、

    「累計値が不自然に下がったら比較を止める」

    というルールにした方が、別の記事でも使えます。

    一度の経験を、その場限りの思い出で終わらせない。

    再利用できる部分だけを取り出して、仕事の型へ変える。

    画像
    経験から仕事の型が育つ

    経験
    「数字がおかしい」

    ↓

    振り返り
    「なぜ危なかった?」

    ↓

    パターン抽出
    「比較条件が崩れている」

    ↓

    ルール化
    「累計値が逆転したら判断停止」

    ↓

    次の運用へ

    ※ビジュアル化する場合は、キラの横に5段階のカードが並び、最後に「RULE」として保存される構図。

    これは、Kira Personal PM v2で考えている、

    経験 → 振り返り → パターン抽出 → 型化 → 次の運用

    そのものです。

    目指しているのは、

    「全部覚えているAI」ではなく、「経験から仕事の型が育っていくAI秘書」

    なのだと思います。


    今回、AI秘書が派手に失敗したわけではない

    ここは少し補足しておきたいところです。

    今回のv0.1は、全部ダメだったわけではありません。

    事実と仮説を分ける。

    因果関係を簡単に断定しない。

    公開直後の#3をすぐに評価しない。

    伸びている#1も、すぐタイトル変更などへ走らない。

    こうした部分は、狙っていた方向で動きました。

    だからこそ、

    実データを入れて初めて見つかった弱点

    に価値がありました。

    机上でプロンプトを何度読み返しても、

    「施策ログの累計値と後日のスナップショットが逆転している」

    という問題は出てきません。

    実際の仕事をさせる。

    危ない場所を見つける。

    その経験をルールに変える。

    そして、また使う。

    AI秘書を作るというのは、最初から完璧な巨大プロンプトを書くことではなく、こうやって少しずつ仕事の型を育てていくことなのかもしれません。


    まとめ

    今回は、Kira AI Labの実データを使って、note分析用AI秘書プロンプトv0.1を手動テストしました。

    そこで見えたのは、AIに「良い提案」をさせるだけでは足りないということです。

    公開直後の記事なら待つ。

    比較する数字がおかしければ止まる。

    基準値が一致しなければ確認する。

    判断しない方がいい場面をルールとして持つことも、AI秘書の能力の一つでした。

    そして今回の経験から、

    「累計指標の単調性チェック」

    「マーケ施策の基準値照合」

    「公開24時間未満の記事の判断保留」

    という3つを、v0.2の差分として追加しました。

    次は、このルールも含めてAI秘書をもう一度動かします。

    その先でやりたいのは、

    私が「次は何する?」と聞く前に、AI秘書側から次に見るべきことを提案してくれる状態

    です。

    作業を自動化するところから始まった仕組みが、少しずつ「判断を支える秘書」に近づいてきました。

    続編公開|判断を止めるだけでなく、気づきを提案するAIへ

    v1.3で整えたのは、データに矛盾があるときに判断しないためのルールでした。

    では、判断できる情報がそろったときはどうでしょう。こちらから「次は何する?」と聞くだけでなく、AI秘書から気づきや検討候補を提示してもらえないか。そんな方向へ進めたのが第5回のv1.4です。

    ▶ 「次は何する?」だけじゃない。気づきを提言するAI秘書へ|AI秘書を作るまで #5【v1.4】

    提言を受けても最終判断は人間に残す、という役割分担もあわせて紹介しています。


    「AI秘書を作るまで」シリーズ

    ChatGPT・Notion・GASなどを使い、仕事を一緒に回すAI秘書を作って改善する過程を記録しています。

    本編 #0〜 #5 を最初から読みたい方や、Manus比較・AI編集長などの番外編を探したい方は、こちらにまとめています。

    #ChatGPT #Notion #自動化 #note運用 #自動化したいこと


     
     
    生成AIの実践検証ラボ、Kira AI Lab。ChatGPT/Claude/Gemini/Museの新機能を実際に試し、結果と数字をそのまま発信。note運用の分析や、自作AIスキルの配布もしています。PR・レビュー受付中。

    あなたへのおすすめ