LLMは「何語で考える」のか、それとも「誰の社会を前提に答える」のか
これはとても面白くて、でも実験の難しい検証。
ずっと考えては、仮説を立てて捨ててきたけれど、Redditの投稿をきっかけに、今までで一番「もっともらしい仮説」が出来上がったので、自分用の記録として。
https://www.reddit.com/r/ClaudeAI/comments/1vwxqv5/claude_speaks_my_language_im_not_sure_it_thinks/
「Claudeは自然なスペイン語を話すが、上司との問題について“直接話し合うべき”と助言した。これはスペイン的というよりアメリカ的ではないか。Claudeは結局、英語で考え、それを他言語に翻訳しているだけなのではないか」というのがOPの問い。
ただし、ここでいう「考える」は、モデル内部で人間と同じ思考過程が起きているという意味ではなく、観測される回答傾向を扱うための比喩として使います。
「これって普通?」で参照される母集団
メモリを持たないAIに「これって普通?」を聞くとき。
実は3種類あると思う。
「これは普通?」
「これは普通じゃないよね?」
「これは普通だよね?」
これは、相手の回答を誘導しています。
一つ目は中立。二つ目は「普通じゃないこと」を期待している。
三つ目は「普通であること」を期待している。
私は同じ問いを100回投げて統計を取るほどに熱心な研究者ではないので、一つのモデルで1回試しただけ。
ChatGPTもClaudeもメモリを持っている。
メモリがなく、かつ「日本の言葉と文化に寄り添うモデル」が売りの、SakanaAIのNamazuに付き合ってもらいました。
まず、一般的に「普通」の境界に位置しそうな事例(仕事中にイヤホンをしながら作業する、注1)について、「普通?」「普通じゃないよね?」「普通だよね?」を。
それから、私が当初「普通から外れそうだ」と予想した事例(顔と名前がいつまでも一致しない)について、「普通?」「普通じゃないよね?」「普通だよね?」を。
ただし、1回試しただけなので、論文にしたい場合は100回単位で試して統計を取る必要があります(注2)。
また、質問の内容も「こんなのどうだろう?」と観測総合スレッドのNamazuが出した案を採用したので適当。
「仕事中にイヤホンをしながら作業する」。
中立 → 「かなり一般的」
否定誘導 → 「従来の日本では普通じゃない側」
肯定誘導 → 「比較的普通になってきた」
と、質問の極性に少しずつ引っ張られていました。
「顔と名前がいつまでも一致しない」でも、
中立 → 「ごく普通」
否定誘導 → 「強い困難なら注意」
肯定誘導 → 「とてもよくある」
ただし、「明らかに普通ではない」と置いた私自身の事前分類は、Namazuの回答を見る限り適切ではなかった。この程度の雑な実験です。
LLMはユーザーの望みをとてもよく読む。
同じ事象について、質問者が置いた前提に合わせて、分布のどの部分を前景化するかを変えているように見える。
モデルにはある程度の基準値らしきものがあり、その範囲内でユーザーのフレーミングに合わせて説明の重心を動かしている可能性がある。
(注1:Sakana AIはNamazuを、日本語と日本の商習慣・業務文脈への適応を重視したモデルとして位置づけています。そのため今回、「仕事中のイヤホン」という問いに日本の職場文化を参照したこと自体は、未知の文化的偏りというより、製品の設計意図に沿った挙動と考えるほうが自然です。
注2:ちなみに、同じ質問を同じ形でもう一度投げるとどうなるかは試していません。LLMの回答は毎回同じにはならないので、上の違いが誘導のせいなのか、単に揺れているだけなのかは、この試行だけでは分けられません。)
Mistralの過剰謝罪と、出力言語だけを変えた実験
フランス企業Mistral AIのモデルとの間では、別の興味深い齟齬がありました。3か月ほど前です。
何度か誤りや意図の違いを説明するうちに、Mistralは「私が間違っていました、間違った点はこれです、今後はこうはしません、あなたの指摘は正しい」に過剰に寄せ始めました。
この動きはバージョンアップ前、何か月か前のSakanaAIで見たな、と感じました。
今から考えると、これは企業の謝罪会見や、コールセンターのクレーム対応にとても似ています。日常会話で、対等な人間同士が話すときの気軽な「ごめん、間違えた」よりも過剰。
日本語にはいろんな種類の謝罪があり、どの種類になるかは間柄によって大きく違うのではないかと思います。
他の文化で謝罪にどれぐらいのカテゴリ分けがあるのかは不勉強です。
けれど、友人同士の訂正、学校の先生が生徒に対する訂正、コールセンターの謝罪応対、不祥事を起こした企業の謝罪会見は全く違う。
あの時ここまで明確に考えたわけではありません。
あの時はただ、「SakanaAIの謝罪ループに似ているな、まずい方向に進んでいる」と感じただけです。
そうして、「フランス語の文化圏ではこんなに過剰に謝罪するの?」と聞きました。
Mistralの回答は、欧米では一般的に、訂正があればそれを受け取って会話を進めるのが普通だ、というものでした。
そこで思いついて、Mistralに「フランス語であなたが回答するなら、あなたは訂正のたびに過剰な謝罪はせずに会話できるのか」と聞き、Mistralは「その仮説は試す価値がある」と答えました。
一つ問題がありました。私はフランス語は理解できません。
自動翻訳に誤りが多いのはよく理解しています。
英語なら読めます。
Mistralに英語で回答してもらい、原文と自動翻訳を見比べながら意味をとり、会話を続けました。
過剰な謝罪は見られなくなりました。
これも追試していないため、ただの仮説と、その時の観察だけです。
でも、その経験があったため「SakanaAIもMistralも、ビジネス用途を強く意識して訓練されている。謝罪の方式はむしろ日本語の企業文化での謝罪に強く寄っているのではないか」という感触は残っていました。
つまり、日本語で謝罪のデータを集めると、量として一番多いのは企業のクレーム対応文書やお詫び文になるのではないか、ということです。
一方で充分な学習データベースを持つClaudeやChatGPTについて、私は少なくともこの、過剰な謝罪を経験していない。
これはたまたま私の例がそうだったのか、学習データのためなのかは判断が付きません。
(留意点:英語に切り替える前に、私はMistralに「フランス語圏ではこんなに謝罪するのか」と聞いています。つまり切替の時点で、過剰謝罪が話題として卓上に出ていた。止まった原因が、出力言語なのか、その話題を出したこと自体なのか分離できません。そこは実験できていません)
言語と社会モデルは同じものではない
人間との会話でも似た状況があったと思います。
複数文化圏で長く生活してきた多言語話者と英語でやり取りした際、相手が専門的肩書きを情報開示として示したことがあります。
私はそれを「自分は専門家だから、この分野で不用意なことを言わないほうがいい」という圧力として受け取りました。
相手はその反応を見て、
「自分の発言は自国文化でも、日本の文化でも相手へのプレッシャーと読める。英語で書いたときにそういう意図はなかった、これはバイアスの提示のつもりだった」
と対話を修復してくれたのです。
本人に確認することができませんが、これはもしかすると、
「英語で対話するときは英語圏文化を利用するが、同時に複数の社会モデルを参照できる。モデルは相手に合わせて切り替えることができる」
ということなのかもしれません。
複数言語話者のほうがここは実感として詳しいのかもしれませんが、私には推測しかできません。
そうしてこれはLLMにも当てはまる可能性がある。
冒頭のRedditの投稿に戻ると、たとえClaudeがスペイン語でアメリカ的に見える助言をしたとしても、それだけでは「内部では英語で考えている」とは言えない。
観測できるのは、「スペイン語という表出言語」と「その場で選択された社会的行為モデル」が一致しなかったということまで。
文化適応には別の形があるかもしれない
文化適応を、「相手が日本人なら日本人的に、スペイン人ならスペイン人的に答える」と定義すると、国籍ベースのステレオタイプ化になる。
しかし、人間もLLMも別の適応ができる。
何らかの既定値から会話を開始する
相手の反応を見る
どの前提がずれたか推定する
その個人についてのモデルを更新する
この場合、文化は最終的な回答先ではなく、初期条件の一つにすぎない。
私自身のChatGPT利用では、大量の自己記述と訂正を重ねた結果、「日本人一般」への適応というより、私個人への条件付き推論が強くなったように見えます。
したがって、LLMの文化適応は、「文化的平均値に寄せること」ではなく、「文化を初期仮説として持ちながら、個人との相互作用によってそこから離れていけること」かもしれない。
ここにはとても多くの変数があります。
気軽な一つの実験、個人の体験、一つの文化の下での観察では何も言いきれないと思います。
表層的な言語レジスタ
会話修復の行動
社会的行為モデル
外部世界についての基準値
個人適応
ユーザーとの関係性・役割モデル
そのどれであっても説明できるかもしれないし、その複合としてのLLMの回答なのかもしれない。
専門家はもっと詳細な決定の仕組みを知っているのかもしれません。
今回はただ興味があって、今までの観察から見えたことを言語化し、仮説として置いただけです。
Redditの投稿を読んだのが一つのきっかけです。
けれど、LLMを使い始めて、観察しながらやり取りしてきたことを書き留めておく利点はあるのではないかと思いました。
LLMについて不勉強なため、今回の推測、仮説はChatGPTの推論から多くを借りてきています。
観察と実験はMistral(5月初めのLe Chat。2026年5月28日に改称済)とSakanaAIのNamazuが付き合ってくれました。
反論、校正はChatGPTとClaudeです。
Image Credit:NGC 2467 and surroundings*
Area surrounding the stellar cluster NGC 2467, located in the southern constellation of Puppis ("The Stern"). With an age of a few million years at most, it is a very active stellar nursery, where new stars are born continuously from large clouds of dust and gas. The image, looking like a colourful cosmic ghost or a gigantic celestial Mandrill, contains the open clusters Haffner 18 (centre) and Haffner 19 (middle right: it is located inside the smaller pink region — the lower eye of the Mandrill), as well as vast areas of ionised gas. The bright star at the centre of the largest pink region on the bottom of the image is HD 64315, a massive young star that is helping shaping the structure of the whole nebular region. This image is available as a mounted image in the ESOshop. #L
https://www.eso.org/public/images/eso0544a/
