メインコンテンツへスキップ
見出し画像

LLMの挙動まとめ【1回】単語ベクトル

    今まで何度も、AIの挙動について記事を書いてきた。

    ・AIはなぜ嘘をつくのか(ハルシネーション)

    ・AIはプロンプトではなくコンテクストで動く

    ・AIは自己ループできない

    これらの記事では、AIの“挙動”を中心に扱ってきた。
    なぜ命令が通じないのか。
    なぜ嘘をつくのか。
    なぜ文脈がズレるのか。
    なぜ自己修正できないのか。

    だが、これらはすべて“現象”の話にすぎない。
    今回は、その背後にある“構造”を語る。

    現行のLLMは、実はたった3つの技術の上に成り立っている。

    1. 単語の意味を数字で表した座標(単語ベクトル)

    2. Transformer(という構造を持つニューラルネットワーク)

    3. 次トークン予測という学習目標

    この3つが、AIの“すべての挙動”を決めている。

    ※補足:RLHFは学習目標ではなく後付けの調整レイヤー。
    ※RAGはアーキテクチャではなく外部検索の追加機能。

    今回はその最初の1つ、「単語ベクトル」から話を始める。


    言語モデルの原型:マルコフ過程

    言語モデルの最初期は「次に来る単語の確率」だけを見て文章を作っていた。
    たとえば「今日は」→「雨」が来やすい、というように、
    単語の並びだけで次を決める仕組みだ。

    この方法は単純でわかりやすいが、
    「高い」と「低い」などの対義語を区別できないという致命的な弱点がある。
    どちらも同じ場所に出現するため、確率的には同じ扱いになってしまう。


    この限界を超えるために登場したのが、
    次に説明する 単語ベクトル である。

    …のだが、ここでいきなり単語ベクトルの話をすると
    人間には非常にわかりにくい概念になってしまう。

    そこで、一旦「素性意味論」という
    人間に理解できる縮小モデルを挟む。


    素性意味論とは

    素性意味論とは、元々言語学の理論で、
    言葉の意味を“いくつかの軸(特徴)で表す”という古典的な方法だ。

    たとえば「犬」という言葉を、

    ・動物である
    ・四足である
    ・吠える
    ・人に懐く

    といった“意味の軸”で表す。
    この軸の数を 次元 といい、次元を増やせば増やすほど、犬の実像に近づく。

    「猫」なら、
    ・動物である
    ・四足である
    ・鳴き声が違う
    ・気まぐれ

    「飛行機」なら、
    ・人工物である
    ・飛ぶ
    ・高速移動する
    ・食べない/走らない

    といった具合に、人間が理解できる“意味の座標”で言葉を表す方法だ。

    この発想は、単語ベクトルの“人間に理解できる縮小版”と言える。


    3次元モデルで見る素性意味論

    モデルを単純化するために、ここでは3つの軸を用意する。

    1. 食べる

    2. 走る

    3. 飛ぶ

    この3軸に対して、「その特徴がどれだけ強いか(=重み・重要性)」を数値で表す。

    例として、犬・猫・飛行機をこの3軸で座標化するとこうなる。

    • 犬:95, 52, 0 (よく食べ95、そこそこ走り52、まったく飛ばない0)

    • 猫:82, 48, 5 (犬より少ない82、ほぼ犬と同48、ジャンプする5)

    • 飛行機:0, 10, 152 (食べない0、少しだけ走る10、超飛ぶ152)

    ここでの数値は、その特徴がどれだけ強く現れるか(重み・重要性)を示している。


    画像

    図を見れば明らかだが、
    犬と猫は互いに近く、飛行機だけが大きく離れている。

    理由は単純で、

    • 犬と猫は「食べる」「走る」がほぼ同じ

    • 飛行機は「飛ぶ」だけが極端に強く、「食べる」「走る」はほぼ0

    だから、

    • 犬 ↔ 猫:距離が近い(意味が近い)

    • 犬 ↔ 飛行機:距離が遠い(意味が遠い)

    という構造になる。

    この「距離=意味の近さ」という考え方が、
    後で説明する 単語の意味を数字で表した座標(単語ベクトル) の理解に直結する。


    LLMが使っている単語ベクトルとは何か

    ここまでの3次元モデルは、あくまで“人間に理解できる縮小版”である。
    実際のLLMが使っている単語ベクトルは、数千〜数万次元の超高次元ベクトルだ。

    つまり、
    「食べる」「走る」「飛ぶ」
    といった軸が 1万本ある ようなイメージである。

    もちろん、その軸は人間が定義したものではない。
    LLMは膨大な文章データを読み込み、
    「どの単語がどの単語と一緒に出現しやすいか」
    という 文脈の統計 を学習した、数値(float)の羅列である。


    画像

    その結果として、
    人間には理解できない“文脈の軸”が数万本生成され、
    各単語がその軸に対してどれだけ重みを持つかが数値化される。

    だが基本は、上述した素性意味論の軸と同じものである。
    ただ、走るや食べるという人間の理解できるものではないだけだ。


    しかし、まだ問題がある。
    それが 対義語 だ。

    対義語とは、男 ↔ 女 や 高い ↔ 低い のように、
    一見すると「真反対の方向にある単語」と思われがちだが、
    実はこれらは “単語の意味を数字で表した座標” の中では非常に近い位置にある。

    なぜかというと、
    対義語は「意味のほとんどを共有している」からだ。

    • 男/女 → 人間・成人・性別を持つ

    • 高い/低い → 量・値・位置など“同じ軸”の上にある

    • 良い/悪い → 評価という同じ文脈で使われる

    つまり、
    対義語は“ほぼ同じ素性を共有しつつ、1つの軸だけが反転しているペア”
    という構造になっている。


    対義語とは「ほぼ同じ素性を共有しつつ、1軸だけ反転するペア」

    例として、次の2つを比べる。

    少年:人間 / 若い / 顔がある / 男
    少女:人間 / 若い / 顔がある / 女

    3つの素性は完全に一致し、
    性別という1軸だけが反転している。

    “単語の意味を数字で表した座標”でも同じことが起きる。
    「少年」と「少女」は距離が非常に近いが、
    性別に対応する方向だけが逆向きになる。

    画像

    これが、
    「対義語は近いのに、ある方向だけが反転している」
    という LLM の単語ベクトルの特徴である。


    ここまでのまとめ

    • マルコフ過程は「次の単語の確率」だけを見る

    • そのため対義語を区別できない

    • 単語ベクトルはその限界を超える技術

    • しかし単語ベクトルは抽象的すぎるため、素性意味論を挟むと理解しやすい

    • 対義語は「近いが1軸だけ反転」する構造を持つ

    • 単語は高次元空間の“意味の座標”として扱われる


    次回は、この単語ベクトルが Transformer の中でどのように扱われるのか を解説する。


     
     

    太郎

     
     
    2026年1月、AIとの雑談から始めたnoteです。 今はAIニュースの検証から進化生物学、文明論まで、 気になったことを裏取りしながら考察しています。 定説を疑い、フラットな目線で書くことを心がけています。

    あなたへのおすすめ