
LLMの挙動まとめ【1回】単語ベクトル
今まで何度も、AIの挙動について記事を書いてきた。
・AIはなぜ嘘をつくのか(ハルシネーション)
・AIはプロンプトではなくコンテクストで動く
・AIは自己ループできない
これらの記事では、AIの“挙動”を中心に扱ってきた。
なぜ命令が通じないのか。
なぜ嘘をつくのか。
なぜ文脈がズレるのか。
なぜ自己修正できないのか。
だが、これらはすべて“現象”の話にすぎない。
今回は、その背後にある“構造”を語る。
現行のLLMは、実はたった3つの技術の上に成り立っている。
単語の意味を数字で表した座標(単語ベクトル)
Transformer(という構造を持つニューラルネットワーク)
次トークン予測という学習目標
この3つが、AIの“すべての挙動”を決めている。
※補足:RLHFは学習目標ではなく後付けの調整レイヤー。
※RAGはアーキテクチャではなく外部検索の追加機能。
今回はその最初の1つ、「単語ベクトル」から話を始める。
言語モデルの原型:マルコフ過程
言語モデルの最初期は「次に来る単語の確率」だけを見て文章を作っていた。
たとえば「今日は」→「雨」が来やすい、というように、
単語の並びだけで次を決める仕組みだ。
この方法は単純でわかりやすいが、
「高い」と「低い」などの対義語を区別できないという致命的な弱点がある。
どちらも同じ場所に出現するため、確率的には同じ扱いになってしまう。
この限界を超えるために登場したのが、
次に説明する 単語ベクトル である。
…のだが、ここでいきなり単語ベクトルの話をすると
人間には非常にわかりにくい概念になってしまう。
そこで、一旦「素性意味論」という
人間に理解できる縮小モデルを挟む。
素性意味論とは
素性意味論とは、元々言語学の理論で、
言葉の意味を“いくつかの軸(特徴)で表す”という古典的な方法だ。
たとえば「犬」という言葉を、
・動物である
・四足である
・吠える
・人に懐く
といった“意味の軸”で表す。
この軸の数を 次元 といい、次元を増やせば増やすほど、犬の実像に近づく。
「猫」なら、
・動物である
・四足である
・鳴き声が違う
・気まぐれ
「飛行機」なら、
・人工物である
・飛ぶ
・高速移動する
・食べない/走らない
といった具合に、人間が理解できる“意味の座標”で言葉を表す方法だ。
この発想は、単語ベクトルの“人間に理解できる縮小版”と言える。
3次元モデルで見る素性意味論
モデルを単純化するために、ここでは3つの軸を用意する。
食べる
走る
飛ぶ
この3軸に対して、「その特徴がどれだけ強いか(=重み・重要性)」を数値で表す。
例として、犬・猫・飛行機をこの3軸で座標化するとこうなる。
犬:95, 52, 0 (よく食べ95、そこそこ走り52、まったく飛ばない0)
猫:82, 48, 5 (犬より少ない82、ほぼ犬と同48、ジャンプする5)
飛行機:0, 10, 152 (食べない0、少しだけ走る10、超飛ぶ152)
ここでの数値は、その特徴がどれだけ強く現れるか(重み・重要性)を示している。

図を見れば明らかだが、
犬と猫は互いに近く、飛行機だけが大きく離れている。
理由は単純で、
犬と猫は「食べる」「走る」がほぼ同じ
飛行機は「飛ぶ」だけが極端に強く、「食べる」「走る」はほぼ0
だから、
犬 ↔ 猫:距離が近い(意味が近い)
犬 ↔ 飛行機:距離が遠い(意味が遠い)
という構造になる。
この「距離=意味の近さ」という考え方が、
後で説明する 単語の意味を数字で表した座標(単語ベクトル) の理解に直結する。
LLMが使っている単語ベクトルとは何か
ここまでの3次元モデルは、あくまで“人間に理解できる縮小版”である。
実際のLLMが使っている単語ベクトルは、数千〜数万次元の超高次元ベクトルだ。
つまり、
「食べる」「走る」「飛ぶ」
といった軸が 1万本ある ようなイメージである。
もちろん、その軸は人間が定義したものではない。
LLMは膨大な文章データを読み込み、
「どの単語がどの単語と一緒に出現しやすいか」
という 文脈の統計 を学習した、数値(float)の羅列である。

その結果として、
人間には理解できない“文脈の軸”が数万本生成され、
各単語がその軸に対してどれだけ重みを持つかが数値化される。
だが基本は、上述した素性意味論の軸と同じものである。
ただ、走るや食べるという人間の理解できるものではないだけだ。
しかし、まだ問題がある。
それが 対義語 だ。
対義語とは、男 ↔ 女 や 高い ↔ 低い のように、
一見すると「真反対の方向にある単語」と思われがちだが、
実はこれらは “単語の意味を数字で表した座標” の中では非常に近い位置にある。
なぜかというと、
対義語は「意味のほとんどを共有している」からだ。
男/女 → 人間・成人・性別を持つ
高い/低い → 量・値・位置など“同じ軸”の上にある
良い/悪い → 評価という同じ文脈で使われる
つまり、
対義語は“ほぼ同じ素性を共有しつつ、1つの軸だけが反転しているペア”
という構造になっている。
対義語とは「ほぼ同じ素性を共有しつつ、1軸だけ反転するペア」
例として、次の2つを比べる。
少年:人間 / 若い / 顔がある / 男
少女:人間 / 若い / 顔がある / 女
3つの素性は完全に一致し、
性別という1軸だけが反転している。
“単語の意味を数字で表した座標”でも同じことが起きる。
「少年」と「少女」は距離が非常に近いが、
性別に対応する方向だけが逆向きになる。

これが、
「対義語は近いのに、ある方向だけが反転している」
という LLM の単語ベクトルの特徴である。
ここまでのまとめ
マルコフ過程は「次の単語の確率」だけを見る
そのため対義語を区別できない
単語ベクトルはその限界を超える技術
しかし単語ベクトルは抽象的すぎるため、素性意味論を挟むと理解しやすい
対義語は「近いが1軸だけ反転」する構造を持つ
単語は高次元空間の“意味の座標”として扱われる
次回は、この単語ベクトルが Transformer の中でどのように扱われるのか を解説する。