
G検定#19|Attentionとは何か? Transformer誕生までの物語
皆さん、ご安全に!! 技術屋たかちゃんです。
突然ですが、皆さんは長い文章を読んでいるとき、最初に書いてあった内容を最後まで覚えていますか?
例えば、3ページもある説明書を読んで、最後に「それを取り付けてください」と書いてあったら、さて「それ」って何だったかな……と、ページを戻したくなりますよね。
実は、AIにも似たような悩みがありました。
そして、この問題を解決するために生まれた技術が、今のChatGPTの頭脳を支えています。
その名前が「Attention(アテンション)」、そして「Transformer(トランスフォーマー)」です。
今回は、この2つの技術が生まれた経緯を、順番に見ていきましょう。
AIは文章をどうやって読んでいたのか?
以前の文章生成AIでは、RNNという仕組みが使われていました。
RNNとは、前の情報を引き継ぎながら、次の情報を順番に処理するニューラルネットワークです。
例えば、
「私は昨日、東京駅で友人と待ち合わせをして……」
という文章があれば、最初の単語から順番に読み進めます。
駅の改札を一人ずつ通過するような処理ですね。
この方式には、困った問題が2つありました。
1つ目は、順番に処理するため、計算を並列化しにくいこと。
2つ目は、文章が長くなると、過去の情報をうまく保持できなくなることです。
人間でも、朝礼で10分間話を聞いたあと、「最初の指示は何だった?」と聞かれると怪しくなりますよね。
AIも似たような状況だったわけです。
Seq2Seqが抱えた情報の詰め込み問題
ここで登場するのがSeq2Seq(シーケンス・トゥ・シーケンス)です。
これは、入力された文章を別の文章に変換する仕組みです。
機械翻訳を例に考えてみましょう。
英語の文章を入力すると、まずエンコーダーという部分が文章を読み込み、情報を1つの固定長ベクトルに圧縮します。
ベクトルとは、情報を数字の並びで表現したものです。
次にデコーダーが、その情報を受け取り、日本語の文章を1単語ずつ生成します。
ところが、ここで問題が発生します。
短い文章なら何とか収まりますが、長い文章でも情報を1つの箱に詰め込まなければなりません。
大きな引っ越し荷物を、手のひらサイズの段ボールに詰め込むようなものです。
そりゃ、何か落ちますよね。
そこで登場したAttention!
相棒のAI(アイ)君が調べたところでは、Attentionは、Seq2Seqが抱えていた情報の詰め込み問題を改善するために登場した仕組みだそうです。
入力文章を一つの箱に押し込むのではなく、出力する単語に合わせて、入力文章の必要な部分を探し直す仕組みのです。
ここで登場するのが、3つの要素です。
Query(クエリ):何を探したいのか。
Key(キー):探す対象を見分けるための情報。
Value(バリュー):実際に取り出す情報。
図書館で考えてみましょう。
「AIの本はありますか?」と受付で尋ねる。これがQuery。
本棚に並んだ本のタイトルがKey。
実際に本を開いたときの中身がValueです。
AIはQueryとKeyの相性を計算し、関連性の高いValueを重点的に取り出します。
図書館で本を探す行動に、よく似ていますね。
Self-Attentionで文章全体を見渡す
Attentionには、もう一つ面白い仕組みがあります。
それがSelf-Attention(セルフ・アテンション)です。
これは、同じ文章の中にある単語同士の関係を調べる仕組みです。
例えば、
「太郎は鞄を置いた。彼は急いで駅へ向かった」
という文章。
AIは「彼」が「太郎」を指していることを理解するため、離れた場所にある単語同士の関係を調べます。
RNNでは単語を順番に処理していました。
Self-Attentionでは、文章内の単語同士の関係をまとめて計算できます。
遠く離れた単語も直接結びつけられるわけです。
これによって並列計算が可能になり、処理の効率も大きく改善しました。
複数の視点で読むMulti-Head Attention
Self-Attentionにも弱点があります。
1つの計算だけでは、文章の関係性を十分に捉えきれないことです。
そこで登場するのがMulti-Head Attentionです。
これは、複数のAttentionを同時に動かす仕組みです。
例えば、ある処理では主語と動詞の関係を見る。
別の処理では、修飾語と名詞の関係を見る。
それぞれ異なる視点で文章を分析し、最後に結果をまとめます。
複数のベテラン技術者が、同じ図面を違う角度から確認するようなものですね。
ところが、もう一つ問題があります。
Self-Attentionは単語同士の関係を計算しますが、単語の順番そのものを直接扱えません。
「犬が猫を追いかけた」と「猫が犬を追いかけた」。
使われている単語は同じでも、意味は大きく変わります。
そこで使われるのがPositional Encoding(位置エンコーディング)です。
これは、単語のベクトルに位置情報を加える仕組みです。
sinやcosという三角関数を使い、単語が文章の何番目にあるかを波のような数値パターンで表現します。
これでAIは、単語同士の関係と並び順を組み合わせて扱えるようになりました。
Transformer誕生。2017年、AIの流れが変わった
相棒のAI(アイ)君が調べたところでは、2017年にGoogleの研究者たちが「Attention Is All You Need」という論文を発表し、Transformerというモデルを提案したそうです。
Transformerは、Attentionを中心に据えた新しいモデルです。
入力側のエンコーダーと出力側のデコーダーを組み合わせ、文章の関係性を効率よく処理する構造を持っています。
この技術は、その後のAI開発に大きな影響を与えました。
BERT、GPT、画像を扱うViT(Vision Transformer)などにも、Transformerの考え方が使われています。
今、私たちがChatGPTに文章を入力し、自然な返答を受け取れる背景には、2017年に発表されたこの技術があります。
AIは情報の詰め込みから、情報の結びつけへ
今回の話で、僕が面白いと感じたのは、AIの進化が単純に記憶容量を増やす方向ではなかったことです。
大きな変化は、必要な情報を探し出し、別々の情報を結びつける仕組みが生まれたことでした。
人間も同じですよね。
大量の知識を頭に詰め込んでいても、目の前の問題に必要な情報を取り出せなければ、なかなか答えにたどり着けません。
AIは、単語と単語の関係を膨大な計算によって調べています。
とはいえ、文章の関係性を計算できることと、人間のように意味を体験して理解することは別の話です。
自然な文章で返事をしてくれるからといって、回答がすべて正しいわけでもありません。
ここは、使う側も頭に入れておきたいところです。
技術屋たかちゃんでした。 ご安全に!!
G検定 連載
前回:
次回:
目次
G検定重要用語集:Attention・Transformer
1. 文章を処理するニューラルネットワーク
① RNN(Recurrent Neural Network・再帰型ニューラルネットワーク)
時系列データや文章を順番に処理するニューラルネットワーク。過去の情報を隠れ状態として次の処理に引き継ぐ。文章生成や音声認識などに利用されたが、長い系列では情報を保持しにくい問題がある。
② 隠れ状態(Hidden State)
RNNが、それまでに入力された情報を保持するための内部表現。現在の入力と前の隠れ状態から計算され、次の時刻へ引き継がれる。文章の文脈や時系列の情報を扱う役割を持つ。
③ BPTT(Backpropagation Through Time・時間方向の誤差逆伝播法)
RNNの学習に使われる方法。時間方向に展開したネットワークに対して誤差逆伝播法を適用し、各時刻の重みを調整する。長い系列では勾配消失や勾配爆発が発生することがある。
④ 勾配消失(Vanishing Gradient)
誤差逆伝播法で勾配が伝わる途中に小さくなり、初期の情報に関係する重みが十分に更新されなくなる現象。RNNでは長い系列の学習を難しくする原因の一つとなる。
⑤ LSTM(Long Short-Term Memory)
RNNの長期的な依存関係を学習しやすくするために開発されたネットワーク。入力ゲート、忘却ゲート、出力ゲートを使い、情報の保持や更新を制御する。長い文章や時系列データの処理に利用された。
⑥ GRU(Gated Recurrent Unit)
LSTMと同様にゲート機構を利用するRNNの一種。更新ゲートとリセットゲートによって情報の保持や忘却を制御する。LSTMより構造が比較的単純で、計算量を抑えられる場合がある。
⑦ Seq2Seq(Sequence-to-Sequence)
入力された系列データを別の系列データに変換するモデル。エンコーダーが入力を符号化し、デコーダーが出力を生成する。機械翻訳や文章要約などに利用され、初期の構造では固定長ベクトルによる情報圧縮が課題だった。
⑧ エンコーダー(Encoder)
入力された文章やデータを読み込み、特徴を抽出して内部表現に変換する部分。Seq2Seqでは入力系列を処理し、デコーダーに渡す情報を作る。Transformerでも入力側の処理を担当する構成要素として使われる。
⑨ デコーダー(Decoder)
エンコーダーなどから受け取った情報を使い、文章やデータを出力する部分。Seq2Seqでは翻訳文を生成する役割を担う。Transformerでは、過去の出力トークンを参照しながら次のトークンを予測する。
2. Attention(注意機構)の基本
⑩ Attention(Attention Mechanism・注意機構)
入力データの中から、出力に関係する情報を重点的に取り出す仕組み。入力文章全体を一つのベクトルに圧縮する方式の弱点を補い、必要な情報に応じて参照先を変えられる。機械翻訳や文章生成などに利用される。
⑪ Query(クエリ・Q)
Attentionで、どの情報を探しているかを表すベクトル。Keyとの類似度を計算するために使われる。検索する側の情報に相当し、QueryとKeyの関係から、どのValueをどの程度参照するかを決める。
⑫ Key(キー・K)
Attentionで、各情報がどのような特徴を持っているかを表すベクトル。Queryとの類似度を計算し、関連性の高い情報を見つけるために使われる。検索対象を識別するための手掛かりに相当する。
⑬ Value(バリュー・V)
Attentionで、実際に取り出して利用する情報を表すベクトル。QueryとKeyの類似度から計算した重みに応じて情報が集約される。検索結果として取得する情報そのものに相当する。
⑭ Attention Score(アテンションスコア)
QueryとKeyの関連性を数値化したもの。一般的には内積などを使って計算する。このスコアをSoftmax関数で正規化し、各情報をどの程度重視するかを示すAttention Weightに変換する。
⑮ Softmax関数(ソフトマックス関数)
複数の数値を0から1の範囲に変換し、合計が1になるようにする関数。Attentionでは、各情報に対する重みを確率分布のような形で表現するために使われる。
⑯ Attention Weight(アテンションウェイト)
各入力情報をどの程度重視するかを示す重み。QueryとKeyから計算されたスコアをSoftmax関数で正規化して求める。この重みをValueに掛け合わせ、重要な情報を集約する。
⑰ Self-Attention(自己注意機構)
同じ入力系列の中にある単語同士の関連性を計算するAttention。各単語からQuery・Key・Valueを生成し、文章内の離れた単語との関係も直接調べられる。Transformerの中心的な仕組みである。
⑱ Scaled Dot-Product Attention(スケールド・ドット積Attention)
QueryとKeyの内積を計算し、次元数の平方根で割ってからSoftmaxで重みを求めるAttentionの方式。内積の値が大きくなりすぎることを抑え、学習を安定させるために使われる。
⑲ Multi-Head Attention(マルチヘッドAttention)
複数のAttentionを並列に実行し、異なる観点から単語同士の関係を学習する仕組み。各ヘッドが異なる特徴や関係性を捉え、その結果を結合して表現する。Transformerの重要な構成要素である。
3. Transformerを構成する技術
⑳ Positional Encoding(位置エンコーディング)
Transformerが単語の並び順を扱えるように、入力ベクトルに位置情報を加える仕組み。初期のTransformerではsin関数やcos関数を使った位置情報を利用した。単語の意味だけでなく、文章内の順序も表現できる。
㉑ Transformer(トランスフォーマー)
2017年にGoogleの研究者らが発表したニューラルネットワークの構造。RNNを使わず、Attentionを中心に文章を処理する。並列計算に適しており、GPTやBERTなど、その後の大規模言語モデルの基礎となった。
㉒ Encoder-Decoder構造(エンコーダー・デコーダー構造)
入力情報を処理するエンコーダーと、出力を生成するデコーダーを組み合わせた構造。Transformerでは、エンコーダーが入力の特徴を抽出し、デコーダーがその情報を参照しながら出力系列を生成する。
㉓ 並列計算(Parallel Computation)
複数の計算を同時に実行する処理方式。RNNは基本的に系列を順番に処理するため並列化が難しい。一方、TransformerのSelf-Attentionは入力系列の各位置をまとめて計算でき、学習の高速化に適している。
㉔ トークン(Token)
AIが文章を処理する際に使う基本的な単位。単語そのものだけでなく、単語の一部分や記号などに分割されることもある。Transformerでは文章をトークンに分割し、それぞれをベクトルに変換して処理する。
4. Transformerから発展した代表的なモデル
㉕ BERT(Bidirectional Encoder Representations from Transformers)
Googleが2018年に発表したTransformerのエンコーダーを基礎とする言語モデル。文章の前後両方向の文脈を考慮して学習する。穴埋め問題などを使った事前学習を行い、文章分類や質問応答などに利用される。
㉖ GPT(Generative Pre-trained Transformer)
Transformerのデコーダーを基礎とする生成型言語モデル。大量の文章を使って事前学習し、前のトークンから次のトークンを予測する。文章生成や対話などに利用され、ChatGPTの基盤技術にもなっている。
㉗ ViT(Vision Transformer)
画像認識にTransformerを応用したモデル。画像を小さな領域(パッチ)に分割し、それぞれをベクトルとして扱う。Self-Attentionによって画像全体の領域間の関係を学習し、画像分類などに利用される。