メインコンテンツへスキップ
見出し画像

AIっぽさの正体は、比喩の多さではなかった

    最近、躺在废墟里 Lieflat(@lieflat_3)さんの記事「跑完520万字和50万次判断,我做了可能是全网最硬核的「去AI味」Skill。」を読みました。中国語の X Article です。

    原文はこちらにあります。

    AIっぽい文章というと、「たとえ話が多すぎる」「飾りが過剰」と感じる人が多いはずです。ところが著者が人間の文章とAIの文章を並べて数えたところ、比喩の目印となる語は人間の方が約2.4倍多かったそうです。

    その実験を手始めに、四つのことを順に説明します。測り方、最初の実験が失敗した理由、三つの測り方の組み合わせ、そして数字を自分の仕事に持ち帰るときに確認すべき点です。

    【発端】 比喩が多いという直感を疑った実験

    画像
    1回目の対照は題材がずれていた。2回目で同題・同事実・同長さの対にした

    「AIは比喩を使いすぎる」という思い込みが、データで崩れたところが出発点です。

    著者は2か月かけて2回の実験をしました。2回合わせて1,169本の記事、約520万字の中国語を使っています。

    1回目は、AIが書いた300本と人間の329本を比べました。人間側は財務レポート、AI側は業界の雑談、というように題材がずれていたので、著者はここで問題に気づきました。

    数字の密度に差が出ても、AIの癖なのか題材の違いなのか区別できません。そこで2回目は、同じ題、同じ事実、同じ長さのペアで比べ直しました。

    比較の条件をそろえたことが、この実験でいちばん大事な設計です。

    【基礎】 AIっぽさは人間との差

    画像
    印象ではなく、同じ条件で並べた頻度の比。基準は優れた人間の文章

    「AIっぽさ」は印象ではなく、同じ条件で並べたときの差として定義できます。

    著者の定義は単純です。AIの書き癖が「AIっぽさ」であり、良い人間の文章を基準にして、AIの文章との差を見ます。

    リポジトリの説明では、差を示す指標として「倍率」と「効果量」が使われています。倍率は、AI側の頻度を人間側の頻度で割った値です。

    効果量(Cliff's δ)は、ランダムに選んだAIの文章が人間の文章より多い確率から、少ない確率を引いた値です。絶対値0.33以上を有意とみなしています(リポジトリ)。

    差を見るので、「人間より少ない」特徴も結果に出ます。冒頭の比喩の話は、まさにそれにあたります。

    【違い】 禁止語リストから比率の計測へ

    画像
    経験則の対策は、避けても残り、直しすぎるという二つの問題を抱えていた

    「この語を使うな」という経験則から、「どの特徴が人間と何倍違うか」という計測に変わりました。

    従来の対策は、禁止語の表を作るか、「AIっぽさを消せ」というプロンプトを足すことでした。著者のリポジトリは、この方法に二つの問題を挙げています。

    一つ目は、禁止語を避けても、読めばAIだと分かる文章が残ることです。二つ目は、規則を詰め込んで直させると、自然な表現まで消してしまうことです。

    根拠

    • 経験則の方法:個人の語感と個別の観察

    • 計測の方法:人間とAIの対照データ

    基準

    • 経験則の方法:「使うな」という語の一覧

    • 計測の方法:人間比の倍率と効果量

    外れた場合

    • 経験則の方法:気づきにくい

    • 計測の方法:反対向きの結果が出れば規則を降格できる

    リポジトリで実際に降格された例では、「AIは具体情報を概括に置き換える」という仮説が、最初は24.7%で支持されました。

    対称的な条件で調べ直すと、反対方向も26.0%ありました。そのため、規則から外されています。

    【仕組み】 弱点を補い合う三層の測り方

    画像
    数えられるものはスクリプト、文脈はモデル、当たっているかは人間

    一つの測り方では取りこぼすので、性質の違う三つを重ねています。

    第一層はPythonのスクリプトです。句読点、文の長さ、節の数など、数えて出せる90項目を処理します。

    原文によると、文の特徴だけで人間とAIを97.6%の精度で分類できたそうです。

    第二層は、モデルに文脈を読ませる判定です。たとえば、読点が3つ並ぶ理由が製品仕様の列挙なのか、無意味な並べ立てなのかを見分けます。

    第三層は人間の盲読です。比喩が的に当たっているかどうかは、モデル同士の判断が割れたため、最後は人が一つずつ読んでいます。

    リポジトリでは、6つの大規模モデルの共通判断が0〜40%だったと書かれています。

    第二層の判定に「Jev」を使い、速さと費用面が助けになった、というのが原文の一文です。提携の有無は確認できていないので、この記事では特定のモデルの評価には立ち入りません。

    「文脈を読んで分類する層」の役割だけを見ます。

    数字の読み方

    原文を読むうえでは、次の点に注意が要ります。

    • 97.6%などの数字:この記事では、公開リポジトリと照合できていません。READMEの本文では97.6%を確認できませんでした。

    • 総字数の食い違い:原文は冒頭で520万字、結びで538万字と書いています。どちらが正しいかは、私には判断できません。

    • 判定の件数:原文は50.7万回と書き、READMEの内訳は43.1万回と増補約11万回です。足し合わせても一致しないので、約50万回の規模という程度に受け取るのが安全です。

    • 誤判定:README自身が、語義判定の誤りは15〜30%あり、方向は信頼できるが細かいパーセントは信頼できないと書いています。

    【具体例】 層をまたぐと結論が反転する冒頭のコロン

    画像
    総数では人間が多い。文脈で分けると、結論を告げる用法だけAIが多い

    同じ記号でも、数え方が変わると結論の向きは逆です。

    「:」の使い方がその例です。スクリプトで総数だけ数えたところ、人間の方がAIよりも多く使っていました。

    人間は「某氏は言う:」と引用に使い、一文で列挙を導くことも多いからです。

    この結果だけを見ると、「コロンはAIの癖ではない」と判断して、規則を捨てるところでした。著者もそう考え、一度は規則を削る寸前だったそうです。

    そこで第二層で、数万個のコロンを文脈別に6種類へ分けました。すると、「結論を示すコロン」だけは、AIが人間の2.1倍以上でした。

    固定の言い回しに絞ると、約4倍です。

    整理すると、人間側の理由は他人の言葉を引くためで、AI側の理由は自分で結論を言うためです。結論を告げる前半をそのまま削っても、文意はほぼ変わらず、かえって簡潔になる場合があります。

    【関連概念】 比喩、翻訳調、文体の均質化

    数字の裏には三つの背景知識があり、それぞれが一次資料につながります。

    比喩は身体経験に根ざす

    認知言語学の古典『Metaphors We Live By』(LakoffとJohnson)は、比喩を単なる飾りではなく、人が物事を理解するための仕組みとして扱いました。物理的・社会的な経験をもとに、別の抽象的な事柄を理解するという考え方です(出版社の紹介)。

    著者はここから、体を持たないAIは比喩を的確に使いにくいと推測しています。これは原文の解釈であり、検証済みの事実としては扱えません。

    翻訳調

    中国語には「欧化」と呼ばれる現象があり、英語などの影響で、名詞の前に長い修飾語を置いたり、被動表現を増やしたりする傾向が指摘されています(中国語の解説)。

    著者の実験で通用した翻訳調は、「AではなくB」の対の言い回し(人間の3.4倍)と、超長い前置修飾でした。普通の受け身は、AIの文章でもほとんど増えていません。

    文体の均質化

    英語の研究でも、指示調整済みのモデルは名詞中心で情報が密な文体になる、と報告されています(PNAS)。創作文の分析では、人間の文章は多様に散らばり、AIの文章はモデルごとに固まる傾向が示されました(Nature系列誌)。

    著者の結びの感想も同じ方向です。嫌われるAI味の正体は、モデルが収束して、文体が揃いすぎることかもしれない、というものです。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『レトリックと人生』は、【関連概念】で触れた『Metaphors We Live By』を日本語で読むときの本です。比喩を、人が物事を理解するための仕組みとして考える参考になります。

    関連記事

    【まとめ】 自分の文章を測る前の三つの確認

    画像
    日本語の文章や別のモデルにそのまま当てはまるとは限らない

    数字を借りるときは、題材・言語・誤差の三つを先に確かめます。

    この実験は中国語の文章で、対象は特定のモデル(原文はGPT-5.6とClaude Opus 4.6)でした。日本語にそのまま当てはまるとは限りません。

    ここからは私の提案で、実際にやって効果を確かめたわけではありません。自分の文章を見直すときの目安です。

    1. 題材をそろえる:比べる文章は、同じ話題・同じ長さに限る。

    2. 総数ではなく役割を見る:コロンや読点は、数ではなく、何のために使っているかで分ける。

    3. 誤差を覚えておく:モデルによる分類は、方向は参考になるが、小数点以下までは信じない。

    原文の最後には、著者が作った自動修正のskillの紹介もありますが、この記事では扱わず、関心があれば原文とリポジトリで確認できます。

    ライセンスは CC BY-NC 4.0 で、商用利用は別の許諾が必要です。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ