メインコンテンツへスキップ
見出し画像

GPTは何が画期的だったのか?入力から回答生成までの仕組みを完全図解 | Transformer・Attention etc

    はじめに

    「ChatGPTは質問に答えられる。でも、なぜあれほど自然な文章を作れるのだろう?」

    GPT、Transformer、Attention、ニューラルネットワーク。AIを勉強していると、似たような技術用語が次々に登場します。これらは競合する別々の技術ではなく、多くが階層的につながっています。

    この記事では「日本の首都は」という短い文章から「東京です。」を生成する例を使い、入力から出力までの処理を追いかけます。そのうえで、従来のAIとの違いや、基本情報・応用情報技術者試験で押さえたいポイントを整理します。また、よく耳にする「LLMは確率的に次の単語を予測しているだけ。思考していない」という言説についても、技術的な事実と誤解されやすいポイントを、研究論文を踏まえて解説します。

    この記事でわかること

    • AI・機械学習・ディープラーニング・ニューラルネットワーク・GPTの位置関係

    • TransformerとSelf-Attentionが画期的だった理由

    • GPTが入力から次のトークンを予測し、文章を完成させる流れ

    • 「次トークン予測」と「推論能力」の関係

    • 重み、バイアス、活性化関数、誤差逆伝播法の基本

    • BERT、RNN、CNN、RAGなど周辺技術との使い分け

    ※2026年11月2日時点で公開されている原論文・公式資料に基づき、基本的なGPT型言語モデルの仕組みを解説します。商用の最新モデルは細部を公開していないことがあり、図は特定モデルの内部仕様を再現したものではありません。


    1. そもそもGPTとは? 3文字の意味から理解する

    GPTは Generative Pre-trained Transformer の略です。

    • Generative(生成型):文章などの新しい出力を生成する。

    • Pre-trained(事前学習済み):大量のデータから言語のパターンなどをあらかじめ学ぶ。

    • Transformer:Attentionを中核に据えたニューラルネットワークのアーキテクチャ。

    ここで混同しやすいのが、GPTというモデル系列・アーキテクチャと、ChatGPTという対話サービスの違いです。ChatGPTの使いやすさには、基盤モデルだけでなく、指示に従うための追加学習、安全性を高める仕組み、必要に応じたツール連携なども関係します。つまり「ChatGPTのすべての機能=Transformer内部の働き」ではありません。

    GPT型の基本的な文章生成は、それまでの文脈から次のトークンの確率を計算し、選んだトークンを追加する処理の反復で説明できます。トークンは単語と必ずしも一致せず、文字・単語の一部・記号などになることがあります。


    2. AI、機械学習、ディープラーニング、GPTの関係は?

    画像

    まず、技術を大きい概念から並べると次のようになります。
    AI(人工知能) → 機械学習(ML) → ニューラルネットワーク(NN) → ディープラーニング(深層学習) → Transformer → GPT

    これはGPTに至る代表的な技術の系譜です。すべてのAIが機械学習を使うわけではありませんし、すべての機械学習がニューラルネットワークというわけでもありません。また、浅いニューラルネットワークは必ずしも深層学習に含めません。

    AI(人工知能)

    人間の知的な働きをコンピュータで実現しようとする技術の総称です。例えば、人間が書いた規則に従って判定するルールベースAIもあります。

    機械学習(Machine Learning)

    データの特徴や規則性を学び、予測・分類などに利用する手法です。決定木、線形回帰、サポートベクタマシン(SVM)など、ニューラルネットワーク以外の手法も含まれます。

    ニューラルネットワーク(Neural Network)

    人工ニューロンをつなげて情報を処理する学習モデルです。入力に重みを掛けて加算し、活性化関数によって非線形な変換を行います。

    ディープラーニング(Deep Learning)

    多層のニューラルネットワークを使い、複雑な特徴を学習する手法です。代表的なアーキテクチャに、画像処理で発展したCNN、時系列・言語処理で使われてきたRNN/LSTM、現在の言語モデルで重要なTransformerがあります。

    TransformerとGPT

    Transformerは2017年に発表されたアーキテクチャです。GPTは、そのデコーダ系の自己回帰的な文章生成を活用した言語モデルとして発展しました。一方、BERTは主にエンコーダ系、T5はエンコーダ・デコーダ系の代表例です。つまり、GPTは「AIとは別の新技術」ではなく、これまでの機械学習・深層学習の蓄積の上にある技術なのです。


    3. GPTは何が画期的だったのか? 従来技術との違い

    GPTだけが突然登場したわけではありません。ここでは技術の進歩を3つの観点で考えます。

    ① 逐次処理中心のRNNから、Attention中心のTransformerへ

    RNNやLSTMは、直前の状態を次へ受け渡しながら系列を処理するアーキテクチャです。長い文章の離れた位置にある情報を扱う難しさや、学習時の逐次計算がボトルネックになることがありました。

    Transformerは、Self-Attentionによって系列内の情報の関係を計算し、従来のRNN型モデルに比べて学習時の並列化を進めやすくしました。2017年の論文『Attention Is All You Need』は、その方向性を示した重要な研究です。

    ② タスクごとの専用モデルから、事前学習した汎用モデルへ

    以前は翻訳、分類、要約など、それぞれの目的に合わせたモデル・学習データ・調整が重要でした。2018年の初期GPTでは、大規模なテキストで事前学習した表現を、別の自然言語処理タスクへ活用する方法が示されました。2020年発表のGPT-3では、1750億パラメータの自己回帰型言語モデルを用い、例示や指示を入力文に含めるFew-shot Learningの有効性が示されました。

    ここでの革新は「追加学習が一切不要になった」ということではありません。同じ基盤モデルを、多様な目的に転用できる範囲が拡大したということです。

    ③ 文章を続けるモデルから、指示に従う対話モデルへ

    文章の続きを生成できるだけでは、利用者の質問に適切に答えられるとは限りません。2022年に公表されたInstructGPTでは、人が望ましい回答を示す教師ありファインチューニング(SFT)や、人の評価を利用するRLHF(人間のフィードバックによる強化学習)が重要な役割を果たしました。

    整理すると、Transformerのアーキテクチャ、事前学習の規模、追加学習による指示追従が組み合わさり、実用的な対話AIが発展してきたのです。


    4. GPTの中身を図解する:Decoder系Transformerの基本構造

    画像

    GPT型モデルの処理は、概念的には次の順番です。
    入力テキスト → トークン化 → 埋め込み+位置情報 → Transformerブロックを複数段 → 語彙ごとのスコア → 確率分布 → 次のトークンの選択

    トークン化(Tokenization)

    文章をモデルが扱える単位へ分割し、トークンIDに変換します。日本語の分割方法はモデルやトークナイザーによって異なり、単純な分かち書きと同じではありません。

    埋め込み(Embedding)と位置情報

    各トークンIDを数値ベクトルに変換します。これが埋め込みです。さらに、系列内での順序を区別するために、位置に関する情報を取り込みます。位置情報の実装方法はモデルによって異なります。

    Masked Self-Attention(因果マスク付き自己注意)

    文章の各位置について、その位置までに現れたトークンを参照し、関連情報を組み合わせます。次に出るはずの正解トークンを学習時に先読みしてしまわないよう、未来の位置を参照できないマスクを使います。これをCausal Maskと呼びます。

    FFN/MLP(全結合層)

    Attentionが文脈から情報を集めるのに対し、FFNは各位置の特徴表現を非線形に変換します。一般的にTransformerブロック内には、残差接続や正規化も含まれます。図は理解のための模式図で、正規化の配置や活性化関数などはモデルによって違います。

    出力層とSoftmax

    最後に、候補トークンごとのスコア(logits)を求め、Softmaxなどによって確率分布として扱います。実際の選択は、温度(temperature)やtop-pといった生成設定に左右されます。


    5. 具体例:「日本の首都は」から「東京です。」が生成されるまで

    画像

    ここからは、入力「日本の首都は」→ 出力「東京です。」という架空の例で、全体の流れを理解します。

    Step 1:入力する

    利用者が「日本の首都は」と入力します。実際の対話システムでは、指示文や会話履歴などが一緒に渡されることもあります。

    Step 2:トークンIDに分割する

    説明のため、文章が「日本|の|首都|は」の4要素に分かれたと考えます。ただし、これは説明用の区切り方です。実際のトークンの分割と一致するとは限りません。

    Step 3:ベクトルに変換する

    それぞれのトークンに対応する数値ベクトルを作ります。例えば「首都」に対応する表現も、内部では数百〜数千などの次元をもつ数値の集合として扱われ得ます。次元数はモデルごとに異なります。

    Step 4:文脈を処理する

    TransformerブロックのSelf-AttentionやFFNを通して、入力文の文脈を反映した表現を計算します。

    Step 5:次のトークンの確率を求める

    イメージとして「東京60%、大阪20%、京都10%、その他10%」のような分布を考えます。

    Step 6:選択したトークンを追加し、繰り返す

    例えば「東京」に対応するトークン列が選ばれれば、続く文脈をもとに「です」「。」などを順次生成します。終了を示すトークンや停止条件に達すると、生成を終えます。この仕組みは、毎回データベースから完成文を検索して貼り付ける方式とは異なります。学習済みのパラメータと現在の入力から次のトークンを予測します。


    6. 「LLMは次の単語を予測しているだけ。思考していない」は本当か?

    GPTを解説する場面では、「LLMは単語を確率的につないでいるだけ。だから、本当は考えていない」という説明をよく見かけます。

    前半は基本原理としておおむね正しい一方、後半は「思考」の意味によって結論が変わります。「次トークン予測」と「推論能力」、さらに「意識・主観的体験」を混同しないことが重要です。

    ①「次の単語を予測する」は、どこまで正しい?

    GPT型モデルが文章を生成するときの基本は、直前までの文脈を条件に、次のトークンの条件付き確率分布を計算することです。

    P(ti+1∣t1,t2,…,ti) ※tiはi番目のトークンP(t_{i+1}\mid t_1,t_2,\ldots,t_i) ※t_i は i 番目のトークン

    例えば「日本の首都は」という入力に続き、「東京」などの候補に確率が割り当てられ、選ばれたトークンが文脈に追加されます。これを反復して文章を完成させます。

    ただし、次の3点に注意が必要です。

    • 予測するのは「単語」とは限らない。 トークンは単語の一部、文字、記号などの場合があります。

    • 直前の1語だけを見ているわけではない。 Transformerは入力として与えられた文脈全体から、各位置の情報を統合します(ただし文脈長などの制約はあります)。

    • 常に最大確率の候補を選ぶわけではない。 生成時にはサンプリングや温度などの設定が関わります。

    したがって「単語をランダムにつないでいるだけ」というイメージは不正確です。確率モデルではありますが、その確率を計算する内部処理は巨大なニューラルネットワークによる複雑な文脈処理です。

    ② 次トークン予測なのに、なぜ計算や論理問題を解けるのか?

    学習目標が単純であることと、そこから獲得される能力が単純であることは別です。文章の続きを正しく予測するためには、文法だけでなく、言葉の意味、事実の関係、数式の扱い、問題と解法のつながりなどを学ぶことが役立ちます。大量のデータを用いた学習を通じて、モデル内部に多様な知識や計算に有用な表現が獲得され得ます。

    例えば、次の問題を考えます。

    りんごが23個あります。20個使い、6個買い足しました。残りはいくつ?

    「23−20=3、3+6=9」と途中の計算を行って「9個」と答えることは、単に次の言葉として「9」を出力するという説明だけでは、その計算能力の評価には十分ではありません。モデルが文脈を利用して複数段階の演算を行えるか、初めて見る問題にどこまで一般化できるかを別途検証する必要があります。

    2022年の研究 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models は、途中の推論手順の例を与えることで、算術・常識・記号推論の課題で正答率が改善することを報告しました。これは、LLMが一定の推論課題を処理できることを示す実験的証拠です。ただし、すべての問題で正しい論理的推論を行うと証明したものではありません。

    ③ 近年の「推論モデル」は何が違う?

    GPT型の文章生成は依然として自己回帰的なトークン生成で説明できます。しかし、モデルの能力は事前学習だけで決まるわけではありません。

    2024年、OpenAIは推論向けモデルo1について、強化学習を利用して複雑な問題を解く能力を改善し、回答前に推論に使う計算量を増やすほど、評価課題の成績が向上する傾向を報告しました。重要なのは、トークンを生成するという仕組みを保ちながら、途中の計算や問題の分解・検証に処理を使える点です。このような考え方は Inference-time Compute(推論時計算量) や Test-time Compute と呼ばれます。

    つまり「次トークン予測型のモデルであること」と「多段階の推論を行うこと」は矛盾しません。ただし、実装の詳細はモデルごとに異なり、すべての商用モデルの内部手順が公開されているわけではありません。

    ④ では、LLMは本当に「思考」しているのか?

    ここは「思考」という言葉の定義が重要です。

    画像

    LLMは計算・論理・プログラミングなどの課題に取り組み、正答する場合があります。一方で、正解を出せたからといって、人間と同じ意味で理解した、意識がある、感情や主観的体験を持つとは結論できません。AIの意識をどう判定するかについては、認知科学・哲学・神経科学などで研究が続いています。したがって、意識が「ある」とも「絶対にない」とも、次トークン予測という仕組みだけから断定するのは適切ではありません。

    ⑤ 「推論の説明」は本当の内部処理を示している?

    もう一つ重要なのが、モデルの出力した説明文と、内部でその回答に至った計算過程は同一とは限らないことです。

    2023年のNeurIPS論文 Language Models Don't Always Say What They Think は、LLMが示すChain-of-Thoughtの説明が、回答に影響した要因を適切に反映していない場合があることを報告しています。そのため「段階的な解説が書ける=説明どおりの内部処理で解答した」とは判断できません。また、途中の説明がもっともらしくても、計算や事実関係が間違っている可能性があります。

    結局、この言説はどう言い換えるべき?

    推奨する説明は次のとおりです。

    GPT型LLMは、文脈に基づいて次のトークンの確率分布を計算し、文章を生成する。これは基本的な生成原理として正しい。

    一方、その処理を実現する大規模な学習モデルは、一定の計算・論理・推論課題を解く能力を獲得している。「次トークン予測だから何も考えていない」と断定するのは不正確である。ただし、推論の正確さは保証されず、人間と同じ意味で理解や意識があるかどうかも確立していない。


    7. Attentionとは? 「どこを参照すべきか」を計算する仕組み

    画像

    例えば「太郎は公園で犬を見た。その犬は走った。」という文を考えましょう。「その犬」の意味を捉えるには、前に出てきた「犬」との関係が重要です。Self-Attentionは、こうしたトークン間の関連を数値的な重みとして計算し、関連する情報を組み合わせて表現を更新します。

    ここで登場する3つの用語が Query・Key・Value です。

    • Query(Q):今、情報を集めたい位置から作る照会用ベクトル

    • Key(K):比較対象の各位置から作る照合用ベクトル

    • Value(V):重みに応じて集約する情報のベクトル

    代表的なScaled Dot-Product Attentionは、次の式で表されます。

    Attention⁡(Q,K,V)=softmax⁡!(QKTdk+M)V ※dkはKeyの次元数、Mは未来位置の参照を防ぐマスク\operatorname{Attention}(Q,K,V)= \operatorname{softmax}!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}+M\right)V  ※d_k はKeyの次元数、M は未来位置の参照を防ぐマスク

    式を文章で読むと、「QとKで関連度を求め、Softmaxで重みにし、その重みでVを集める」という処理です。複数の異なる投影を使って関連を捉える仕組みがMulti-Head Attentionです。注意したいのは、Attentionの重みが人間にとっての因果関係や説明をそのまま表すわけではないことです。


    8. 背景知識:ニューラルネットワークと活性化関数

    画像

    Transformerも、土台はニューラルネットワークです。その基本的な処理を理解すると、内部構造への理解が深まります。

    人工ニューロンは「重み付き和 → 非線形変換」

    z=∑i=1nwixi+b,y=f(z) ※入力x1,x2,…,xnに対して、重みwiとバイアスb、活性化関数fz=\sum_{i=1}^{n}w_i x_i+b,\qquad y=f(z) ※入力 x_1,x_2,\ldots,x_n に対して、重み w_i とバイアス b、活性化関数f

    活性化関数を入れると、単純な線形結合だけでは表現しにくい複雑な関係を学べるようになります。

    代表例のReLUは次のとおりです。

    ReLU⁡(x)=max⁡(0,x)\operatorname{ReLU}(x)=\max(0,x)

    0以下では0、正の値では入力をそのまま返します。もう一つのSigmoidは、出力を0と1の間に収める関数です。

    σ(x)=11+e−x\sigma(x)=\frac{1}{1+e^{-x}}

    これらは基本概念を説明する代表例です。現代のTransformerがすべてReLUやSigmoidを内部の活性化関数として使っているわけではありません。GELU、SiLU、ゲート付き構造など、実装によって違いがあります。

    では、どうやって「学習」する?

    事前学習では、文脈から次のトークンを予測し、実際の正解トークンとのずれを表す損失関数を小さくするように、モデルの重みを調整します。

    代表的には、誤差逆伝播法(Backpropagation)で勾配を計算し、勾配降下法系の最適化アルゴリズムでパラメータを更新します。一方、利用者が質問してモデルが回答を出す推論時(Inference)は、通常、学習済みのパラメータを使って予測します。会話するたびに、その場で基盤モデルの重みが自動更新されるわけではありません。会話履歴を文脈として利用することと、モデルのパラメータを学習し直すことは別です。


    9. RNN・BERT・GPT・RAGはどう使い分ける?

    RNN/LSTMとGPT

    RNN/LSTMは系列の情報を順番に引き継ぐ方式です。GPTの主要な特長は、TransformerのAttentionによって長い文脈の関係を扱いやすくし、学習規模を大きくできることです。ただし、タスク、計算資源、系列長などによって適切なモデルは変わります。

    BERTとGPT

    同じTransformer系でも、代表的な構造の違いがあります。以下は代表的なモデルの位置付けであって、すべての派生モデルの機能を限定する表ではありません。

    画像
    • BERT:双方向の文脈を利用した文章表現の学習を特徴とし、分類・検索などで利用されます。

    • GPT:既知の文脈に続くテキストを自己回帰的に生成します。

    • T5:入力をエンコーダで処理し、デコーダで出力する構成を採ります。

    GPTとRAG

    GPTは学習済みのパラメータを使って応答を生成します。一方、RAG(Retrieval-Augmented Generation)は、回答に必要な資料を外部から検索して、その結果を入力文脈へ追加するシステム構成です。

    例えば、社内規程に関する質問なら、関連規程を検索したうえでGPTに要約・回答させる使い方ができます。RAGはGPTと競合するモデルではなく、GPTなどの生成モデルを補完する仕組みです。


    10. GPTの限界:なぜもっともらしい誤答が生じるのか

    GPTは自然な文章を生成し、一定の推論課題を解けますが、生成した文章の事実性や推論の正しさが自動的に保証されるわけではありません。

    2025年のOpenAIの研究では、ハルシネーションが残る要因として、次トークン予測による事前学習の性質に加え、不確かな場面でも回答を推測することが報われやすい評価方法などが指摘されています。

    • ハルシネーション:存在しない事実や出典を、もっともらしく述べることがある。

    • 学習時点・外部情報の限界:現在の情報が必要なら、信頼できる情報源による確認が必要。

    • 文脈長や計算資源の制約:長い入力を何でも無制限に扱えるわけではない。

    • 機密情報・著作権などの注意:入力する情報と出力の使い方には別途配慮が必要。

    企業利用では、RAGなどによる根拠情報の提示、回答の評価、アクセス制御、人の確認(Human-in-the-Loop)などを組み合わせることが重要です。


    11. IPA試験対策:押さえたい用語と典型的な混同

    基本情報・応用情報技術者試験などの学習では、次の区別ができると理解が安定します。

    チェックポイント

    1. AI ⊃ 機械学習 ⊃(代表例として)ニューラルネットワーク。深層学習は多層のニューラルネットワークを使う手法。

    2. Transformerの核はAttention。RNNの再帰処理とは異なる設計。

    3. GPTは主にデコーダ系の自己回帰モデル。BERTは主にエンコーダ系。

    4. トークン ≠ 単語。トークン化の単位はモデルによって異なる。

    5. Self-Attentionは文脈内の情報を組み合わせる。Causal Maskは未来の情報を隠す。

    6. 活性化関数は非線形性を導入する。代表例はReLU、Sigmoid。

    7. 誤差逆伝播法は学習で勾配を求める手法。通常の回答生成とは区別する。

    8. 事前学習・SFT・RLHFは目的が異なる。会話履歴の利用は重みの再学習ではない。

    9. RAGは外部検索を組み合わせる仕組み。GPTそのものの別名ではない。

    10. 次トークン予測は生成原理。これだけを根拠に推論能力がないとは結論できない。

    11. 推論課題を解く能力と主観的意識は別問題。「思考している」の意味を確認する。

    12. ハルシネーション対策には、根拠資料の確認や人による評価が必要。

    特に試験で避けたい誤解は、「GPTはインターネットから正解を直接検索して答える」「Attentionの高い重みは事実の正しさを保証する」「Transformerなら推論時の全トークンを一括並列生成できる」の3つです。


    まとめ:GPTの仕組みは「次のトークン予測」から理解できる

    GPTを理解する近道は、いきなり複雑な数式から入ることではありません。

    AI → 機械学習 → ニューラルネットワーク → 深層学習 → Transformer → GPTという位置関係をつかみ、「トークン化 → 埋め込み → AttentionとFFN → 次トークンの予測 → 繰り返し」という処理の道筋を知ることです。

    Transformerが画期的だったのは、Attentionを中心に系列を処理し、従来のRNN型モデルとは異なる拡張性を示したこと。そしてGPTの実用化を支えたのは、そのアーキテクチャに加えて、事前学習の大規模化、汎用的なタスク適応、指示追従のための追加学習などの積み重ねでした。

    GPTの基本原理は次トークン予測です。ただし、「次トークンを予測するだけだから推論能力はない」という結論にはなりません。数学や論理などの課題を処理する能力と、内面に意識があるかという問題は区別して考えましょう。生成原理・推論能力・限界の3つをセットで理解することが、これからのAI学習の土台になります。


    関連記事

    参考資料

    1. Vaswani et al. (2017), Attention Is All You Need — Transformerの原論文
      https://research.google/pubs/attention-is-all-you-need/

    1. OpenAI (2018), Improving language understanding with unsupervised learning — 初期GPTと事前学習
      https://openai.com/index/language-unsupervised/

    2. Brown et al. (2020), Language Models are Few-Shot Learners — GPT-3とFew-shot Learning
      https://openai.com/index/language-models-are-few-shot-learners/

    3. Ouyang et al. (2022), Training language models to follow instructions with human feedback — InstructGPTとRLHF
      https://openai.com/index/instruction-following/

    4. Devlin et al. (2019), BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
      https://aclanthology.org/N19-1423/

    5. OpenAI, トークンの理解とカウント — トークン化の説明
      https://help.openai.com/ja-jp/articles/4936856

    6. OpenAI (2023), GPT-4 Technical Report — モデルの説明と非公開事項
      https://arxiv.org/abs/2303.08774

    7. IPA, 試験要綱・シラバスについて — 最新の試験範囲の確認
      https://www.ipa.go.jp/shiken/syllabus/gaiyou.html

    8. Wei et al. (2022), Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — 推論過程の提示と課題正答率
      https://papers.nips.cc/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract-Conference.html

    9. OpenAI (2024), Learning to reason with LLMs — 推論モデルo1と推論時計算量
      https://openai.com/index/learning-to-reason-with-llms/

    10. Turpin et al. (2023), Language Models Don't Always Say What They Think — 推論の説明の忠実性
      https://papers.neurips.cc/paper_files/paper/2023/hash/ed3fea9033a80fea1376299fa7863f4a-Abstract-Conference.html

    11. OpenAI (2025), Why language models hallucinate — 生成モデルとハルシネーション
      https://openai.com/ja-JP/index/why-language-models-hallucinate/

    12. Butlin et al. (2023), Consciousness in Artificial Intelligence: Insights from the Science of Consciousness — AIと意識の議論
      https://arxiv.org/abs/2308.08708


     
     
    IT資格の勉強法・合格ノウハウを発信。 書籍では追いにくい最新技術や最新動向まで。 試験対策だけでなく実務にも活きる知識をお届け。 【保有資格】 ・IPA:FE、AP、SC ・DB:OracleDB-Gold、OSSDB-Gold ・Cloud:AWS-SAP、OCI-AP

    あなたへのおすすめ