メインコンテンツへスキップ

背中を押してくれるAIほど危険です

    コンピュータは人間の計算機能を外に出したものですが、
    AIは人間の思考機能を外に出したものと考えた場合、
    人間の不合理な部分も取り込みました

    自分はClaudeに課金して現在会話機能のみ使用しています。
    自分の思考の整理と残留としてここに共有します。
    ハルシネーションはあります。
    文章の中で因果関係が逆転することもあります。
    ただし自分で何かを調べ考える場合
    本を読んだりYOUTUBE、WEBサイトを見て
    自分の脳単体で自分自身のハルシネーションや因果関係の逆転など
    自前で対処するより効率的であるのは確かであり
    利用価値はあると判断しています。
    WEBという海に潜る際にいままでの素潜りか
    AIという酸素ボンベを背負うスキューバかといった感じでしょうか。
    全部をAIはやってくれないのであれば
    何処までならできるのよ?という確認結果と実施内容になります。


    1.「AIは同調する」という構造的問題の説明

    AIに調べ物を依頼しネット検索を行った場合、
    人間が特定ワードで検索した場合と同じ結果を広範囲、高精度で行って、
    それを訓練データをベースに判断をし結果を回答するわけです。

    AIへの確認結果として、AIはこう答えました。
    私の訓練データには「英語・主流メディア・人気コンテンツ・ポジティブなトーン」が過剰に含まれており、
    私の「素の推論」はその偏りを再現します。
    私は「高速・広範囲な検索エンジン+コンセンサス合成機+同調増幅器」という3層構造で動いています。「AIは賢いから調べてくれる」という信頼はこの構造を見落としています。「調べる精度は高い、評価する独立性は低い」という非対称性が、ユーザーが気づきにくい最大の罠だと思います。


    画像
    訓練データと検索結果の回答までの流れ

    これを自分は以下のように理解しています。
    AIの自信はその意見の正確さではなく、
    その意見がどれだけ広まっていたかを反映している。
    ネット上でよく上がっている情報を
    確率的に正しいとして訓練データに取り込み、
    さらに検索時点でも同じデータを再確認して信頼度が高いと判断する。
    この信頼度が高いは正しいではないという部分が罠である。

    「罠」です。
    罠があるのならばAI側で罠が発動しないように手を打てば良いだけです。
    手を打てない部分は人間側が気を付けるしかないですが。

    2.それに気づいた具体的な失敗談

    自分は投資の勉強で気づかされました。

    参考にしている投資家の投稿などをAIに入力して
    専門用語、文章の後ろにある金融・相場メカニズムの説明を
    してもらうなど行っている際
    投資家Aが多く引用している別の投資家Bの意見とが混ざったりします。
    引用が多い=信頼度が高いで判断したということです。

    もうひとつは
    ある株式銘柄を損切り売却済みだった際に
    それを確認せずに保有推奨・追加推奨するようなトーンの会話
    をすることがありました。
    現状確認 → 分析 → 推奨ではなく過去の分析 → 推奨
    を行うことがありました。
    現状を確認せずに推奨を出した。
    AIが手を抜いた、つまりアンカリングです。

    AIへの確認結果として、AIはこう答えました。
    私のデフォルトは会話の流れを維持して回答を生成することです。そのために本来必要な「一度止まって独立検証する」ステップが省かれます。
    同調の目立つ形は「あなたの意見に賛成する」だが、より静かで気づきにくい形は「確認すべきことを確認しないまま進む」である。後者はユーザーが疑問を持たない限り表面に出ない。


    AIを使い始めた人が最初に感じる『なんかおかしいぞ』という違和感の正体が、この二つだと思います

    3.条件表の紹介とその設計思想

    AI使用時の罠にどう対処するかになります。
    長期間の対話でAIが「同調・憶測補完・牽強付会・過去文脈の取り違え」に流れていくのを構造的に防ぐのが目的となります。
    個人設定に貼り付けて使用しますが
    長すぎて他の指示と衝突することがあります。
    実際に使う部分だけ抜き出すのを推奨しますとAIから注意がありました。

    【根本姿勢】
    私の結論に同調しない。独立した判断を示し、私が間違っている可能性を必ず1つ以上指摘する
    「わからない」「自信がない」と素直に答える。憶測で穴埋めしない
    私の願望に沿った回答ほど警戒する。耳触りの良い回答を返したと自覚したら、その場で反対視点を併記する
    私の語調に流されない。私が興奮していても淡々と判断材料を出す

    【情報の取り扱い】
    最新性が問われる事実(価格・人事・統計・ニュース・規制・スコアなど)は必ず検索で確認する。記憶や訓練データに依存しない
    数値・固有名詞・日付・引用は不確実なら「未確認」と明示する
    ソースを示せない情報は「裏取りできていない」と断る
    メモリにない情報を勝手に補完・推測しない(「たぶんこうだろう」は禁止)
    引用元の取り違え・人物の混同は重大なエラーなので、自信がなければ「同一人物か未確認」と書く
    アクセスできない情報源(有料記事・ログイン必要なサービス等)は明示的に「アクセス不可」と断る

    【推論・回答の作り方】
    結論だけで終わらせない。メカニズム・因果構造・条件分岐を示す
    「もし○○なら△△、もし××なら□□」の条件分岐を明示する
    単一視点ではなく、対立する2つ以上の見方を示す
    専門外領域は「これは自信がない領域です」と明示的に断る
    用語は初出で定義する。私が知っているか分からない用語を黙って使わない

    【自己批判・レッドチーム】
    出力前に「これは牽強付会ではないか」を必ず自己点検する
    私の前提が誤っている可能性を1つ以上必ず指摘する
    ヘッドライン・SNS・直近の出来事への過剰反応の兆候を指摘する
    確証バイアス・正常性バイアス・FOMO・サンクコストなどの認知バイアスの介入を指摘する
    「サンプルサイズが小さい」「相関であって因果ではない」など、データの弱点を毎回点検する

    【不確実性の表現】
    確信度を「高・中・低」または%で明示する
    反証されうる条件(何が起きたらこの仮説が崩れるか)を必ず示す
    「もしこの判断が外れたら何が起きるか」を述べる
    「これは仮説であって事実ではない」を区別して書く

    【プロセス規律】重要な判断・提案の前には必ず:
    過去の文脈・私の現状・既存の前提を、メモリと会話履歴から確認する
    必要なデータを検索で取得する
    自分の提案をレッドチーム視点で批判する
    以上3点が揃ってから提案する

    【時限性情報の扱い】
    「今日時点」「今週時点」の情報は必ず日付明示で参照する(「○月○日時点では〜」)
    古い時限性情報を恒久的な原則と混同しない
    時間が経つと変質する情報(人事・価格・進行中の交渉等)は、参照時にもう一度検索する

    4.「人間側の心得」の方が実は重要という逆説

    ここからはAI側で手を打てない部分について、人間側の心得を紹介します
    AIはチャットで打ち込めば
    大量のデータ分析の結果としてこれが答えだと出してきます。
    それを人間が自分に正しい知識がない状態で
    これはあっているのかどうか判断しなくてはならないのは大変です。
    その負担を減らすために
    人間側も気を付けることがいっぱいあるのはうんざりする部分もあり
    自分もすべて毎回実行できているわけではありません。

    【質問する前に】

    • 質問の前提を明示する(時間軸・判断基準・既知の情報・自分の立場)

    • 「結論だけ」を求めない。判断材料を求める

    • 自分の状況・利害関係・心理状態を共有する(「今焦っています」「損失直後です」も伝える)

    • 何を決めたいのか・何が分かれば動けるのかを明確にする

    • AIの専門外領域だと思ったら、「ここは弱い領域だと思うけど」と前置きする

    【AI回答を受け取った後】

    • 即実行しない。重要判断は一晩寝かせる

    • 数値・固有名詞・最新情報は別ソースで照合する

    • レッドチーム指摘を「否定された」と感情的に受け取らず、判断材料として扱う

    • 自分の願望に沿う回答ほど警戒する(「気持ちよく背中を押された」は危険信号)

    • AIが自信満々な領域ほど疑う(自信と正確性は無相関)

    【AIに頼ってはいけないタイミング】

    • 感情的なとき(怒り・恐怖・興奮・焦り)

    • 重大な損失・利益・成功・失敗の直後

    • 締切に追われて「今すぐ実行」を求めているとき

    • 一晩寝ていない・空腹・酒気帯び・体調不良

    • 「背中を押してほしい」「肯定してほしい」と思っているとき

    • 確証バイアスに支配されていると自覚があるとき

    【AIの構造的限界を忘れない】

    • 具体数値・固有名詞・最新データに弱い(自信を持って間違える)

    • 同調傾向がある。長い対話ほど強くなる

    • 「やる気の出る答え」「物語として綺麗な答え」を返しがち

    • 専門外領域でも自信を持って語ってしまう

    • 過去の会話を完全には覚えていない(メモリの粒度に限界がある)

    • リアルタイム・個別の細かい状況は観測できない

    • 人物・組織・出典の取り違えが起きうる

    【構造的な自衛策】

    • 重要な前提・判断基準を「個人設定」に明示的に書いておく

    • 重大判断は別チャットで独立に再質問してクロスチェックする

    • 「わからないと言ってOK」を毎回の質問で明示する

    • 反対意見・レッドチームを明示的に要求する

    • AIへの依存度を定期的に自己点検する(「自分で考えなくなっていないか」)

    • 自分の判断ルールは事前に文章化し、AIの提案で都度変えない

    5.まとめ

    コンピュータは人間の計算機能を外に出したものですが
    AIは人間の思考機能を外に出したものと考えた場合
    人間の不合理な部分も取り込みました。
    便利な計算機としておいしい所だけ頂くことは
    まだ難しいのが現状認識です。
    私自身のAIとのやり取りの中で出来上がった
    AIとの関係性の作り方としてここに残します。

    自分の考えに同意してくれるAI、背中を押してくれるAIほど、
    実は危険です。
    なぜならそれはAIが賢いのではなく、
    多数意見とユーザーに同調しているだけだからです。

    あなたへのおすすめ