メインコンテンツへスキップ

ChatGPTと無意味な指示: チャットAIは何でないか

(値段つけてますが、全文無料で読めます。投げ銭は歓迎)

僕はChatGPTは研究に使うから研究費で課金し、Claudeは自分が書いた文章を読ませるので自費で課金し、Geminiはよく使ってるけど無料範囲で事足りてるので(申し訳ないけど)無料プランのままで、いずれにしてもこの代表的な三つのチャットAIを使っています。

世の中にはChatGPTの使い方を教えるセミナーとか指南書とかがあって、ボロい商売だなあと思うんですが、僕は全くもって適当に使ってます。ChatGPT講座で儲けようかしら。

ChatGPTにどういう指示を出せばいいかというのもいろいろなオカルトみたいな話が流布しているようで、「あらゆる手段を駆使してください」という指示を見たときには、さすがになんとかしたほうがいいんじゃないかと思いました。

僕はチャットAIの仕組みをちゃんと理解してるわけじゃないけど、確率的に文章を生成してるだけだから、「無意味な指示」は自ずとわかるはずで、それについてChatGPT自身に聞いてみることにしました。そのチャットをChatGPTに要約させたのが以下の文章です。まあ、考えてた通りなんですが、もしかしたらみなさんの役に立つかもしれないから、noteにします。元々のチャットは長いので、リンクだけしておきます。要約には僕が実際にした質問を貼りました。僕がいかに短く質問してるかの例として。

https://chatgpt.com/share/6984224c-ff24-800e-865e-4c3edbceb942

1. ハルシネーションとは何か

ユーザーの問い

chat AIのハルシネーションについて説明して

主な論点

  • ハルシネーション=もっともらしいが誤った内容の生成

  • 原因は確率的言語生成であり、真偽判定機構は持たない

  • 「知らない」と言うよりも補完する傾向がある

  • 文体の自信度と正確性は無関係


2. 「ハルシネーションを起こさずに」という指示は有効か

ユーザーの主張

「ハルシネーションを起こさずに」という指示をすればハルシネーションが抑制されるという主張がある。生成AIの仕組み上、そのような指示が有効とはとても考えられないが、どう?

結論

  • 本質的抑制はできない

  • 断定的表現が減ることはある

  • 内部確率分布は変わらない

  • 表現レベルの変化に過ぎない


3. 「ac.jp や go.jp に限定せよ」という指示は有効か

ユーザーの疑問

情報源を特定のドメインが提供する情報(ac.jpやgo.jpなど)に限るように指示すると有効という主張もあるが、Chat AIは情報源の情報をそのまま保持しているわけではないので、この指示が有効に働く気もしないのだが、どうだろう

結論

  • 指示だけではドメイン限定は不可能

  • 出典ラベルは内部に存在しない

  • 文体が公的寄りになる効果はある

  • 架空出典ハルシネーションの危険あり

  • 有効なのは実際に検索・接続する場合のみ


4. 「検索して」という指示は有効か

ユーザーの理解

ChatGPTを用いてさまざまな調査をする場合にも、指示が与えられるたびにwebを検索しに行くわけではないと理解している。「検索して」という指示は有効なのか

結論

  • 常に検索が実行されるわけではない

  • 内部知識で足りると判断すれば検索しない

  • 「検索結果の痕跡」を要求すると有効性が上がる

  • 重要なのは検証可能性


5. 「推測禁止」という指示は意味があるか

ユーザーの疑問

生成AIの性格上、「推測禁止」という指示も効果があるとは思えないのだが、どういう点で効果がある?

結論

  • 推測そのものは止められない

  • 断定的補完が減る効果はある

  • 「不明」と言いやすくなる

  • 推測の“露出”が抑制されるだけ


6. 「あらゆる手段を使って」は有効か

ユーザーの立場

Chat AIを調査に使うにあたって、「あらゆる手段を使って」という指示が有効と主張する人がいるが、生成AIの原理からしてそんな指示に意味があるとはとても考えられない。どう?

結論

  • 原理的に無意味

  • 能力は増えない

  • 丁寧さや網羅感が増すだけ

  • 誤情報が厚塗りされる危険あり


7. 「使用した情報源を列挙せよ」は意味があるか

ユーザーの指摘

「使用した情報源を列挙せよ」という指示も、それで本当に推論に使用した情報源を出してくるわけではないよね。そういう推論はそもそも行なってないはず。

結論

  • その通り

  • 列挙される出典は事後生成

  • 推論因果と無関係

  • 候補リストとしては使える

  • 真に意味があるのは入力に明示的文書がある場合のみ


8. 丁寧語で依頼することに意味はあるか

ユーザーの疑問

ところで、ChatGPTに「なになにしてください」のように丁寧語で依頼する人が多いんだが、丁寧語にしたからって、いいことはないよね

結論

  • 能力は上がらない

  • 文体モードが変わることはある

  • フォーマル分布に寄る

  • 精度を決めるのは具体的制約


9. トーンを変えたいなら明示的指定すべきでは?

ユーザーの主張

出力のトーンを変えたければ、むしろ明示的に「ビジネスレターにふさわしい文体で」などと支持するべきでは?

結論

  • その通り

  • 文体クラスタ指定は強い制約になる

  • 再現性が高い

  • 礼儀よりもスタイル指定が有効


全体を通じた核心的結論

この対話全体は一貫して、次の原理に基づいている:

生成AIは「調査主体」ではなく「確率的言語生成モデル」である。

したがって:

  • 命令で能力は増えない

  • 出典は因果的参照ではない

  • 推測は止められない

  • スローガン的指示は実質的意味を持たない

有効なのは:

  • 明示的制約

  • 構造指定

  • 検証可能な出力形式

  • 外部情報との接続


 
 
菊池誠 大阪大学で物理を教えていました。第10回日経星新一賞の優秀賞をもらいました。 著書: 「科学と神秘のあいだ」(単著)、「いちから聞きたい放射線のほんとう」(小峰公子・おかざき真里と共著)など

あなたへのおすすめ