メインコンテンツへスキップ
見出し画像

次の単語を予測するLLMが、なぜ画像・音楽・動画を作れるのか?|生成AIのメディア生成技術を図解で理解する

    はじめに

    ChatGPTに「夕焼けの海を描いて」と入力すると、まるで人間が描いたような画像が生成されます。最近では、文章から画像やイラストを作るだけでなく、音楽を作曲したり、動画を生成したりすることも可能になっています。

    しかし、ここで疑問が生まれます。
    「LLM(大規模言語モデル)は、次の単語を予測しているだけではなかったの?」

    文章の続きを予測する仕組みから、どうして美しい風景画や音楽、リアルな動画が生まれるのでしょうか。実は、その答えを理解するには、「トークン予測」「拡散モデル」「潜在表現」「Transformer」という技術の関係を知ることが重要です。

    本記事では、生成AIが画像・イラスト・音楽・動画を生み出す仕組みを、技術的な観点から図解します。ITパスポート、基本情報技術者、応用情報技術者などのIPA試験対策で生成AIの基本概念を整理したい方にも役立つ内容を目指します。なお、本記事は生成技術の仕組みに対象を絞り、著作権や関連法令については別記事で解説します。



    1. 結論:生成AIは「次の要素を予測する」だけではない

    まず、結論から見ていきましょう。
    生成AIには、次のような異なる生成方式が存在します。

    • 文章:次のテキストトークンを順番に予測する

    • 画像・イラスト:画像トークンを順番に予測する方式や、ノイズから画像を生成する方式がある

    • 音楽・音声:音声トークンを予測する方式や、音声の潜在表現を生成する方式がある

    • 動画:映像の空間的・時間的な関係を扱いながら、映像データを生成する

    つまり、すべての生成AIが「次の単語」を予測しているわけではありません。

    一方、文章生成とメディア生成には、共通する技術や考え方も多く存在します。例えば、言葉を数値に変換する技術、データの特徴を捉えるニューラルネットワーク、Transformerによる情報処理などです。重要なのは、生成対象に合わせて、データの表現方法や生成アルゴリズムが変わるという点です。

    生成AIがメディアを作る基本的な流れ

    例えば「夕焼けの海を描いて」と指示した場合、代表的なシステム構成では次のように処理します。

    1. 入力された文章を解析する

    2. テキストを数値的な特徴表現へ変換する

    3. 画像生成モデルが、指示に合った画像データを生成する

    4. 必要に応じてデコーダで画素データに復元する

    5. 完成した画像をユーザーに返す

    このとき、LLMが文章を解釈して画像生成モデルに指示する構成もあれば、テキストと画像の生成機能を統合したマルチモーダルモデルもあります。

    LLMが必ず直接画像のピクセルを計算している、というわけではないのです。

    画像

    2. そもそもLLMはどうやって文章を作っているのか?

    メディア生成の前に、まずLLMの仕組みを簡単に振り返ります。ChatGPTなどで利用される自己回帰型LLMは、直前までの文脈から、次に続く可能性のあるトークンを予測する仕組みを基本としています。

    例えば、次の文章を考えてみましょう。
    「今日は、とても良い__」

    この文章に続く言葉として、「天気」「日」「機会」などが候補になります。モデルは、これまでの文脈を使って次のトークンの確率分布を計算し、その中から次のトークンを選択します。これを繰り返すことで、長い文章を生成できます。

    重要なのは「単語」ではなく「トークン」

    ここで、正確に理解しておきたいポイントがあります。

    一般的には「次の単語を予測する」と説明されますが、実際のLLMが予測する単位はトークン(Token)です。トークンは必ずしも単語と一致しません。単語の一部、文字、記号などがトークンになることもあります。そして、このトークンという考え方は文章以外のデータにも応用できます。

    例えば、画像を小さなコードの列に変換したり、音声を圧縮したトークン列に変換したりすれば、それらを順番に生成するモデルを作れます。

    文章以外にも「次のトークン予測」は応用できる

    ここが本記事で最も重要なポイントです。

    • 文章生成:次のテキストトークンを予測

    • 画像生成:次の画像トークンを予測

    • 音声生成:次の音声トークンを予測

    生成対象となるデータを適切に表現できれば、自己回帰的な予測という考え方を、文章以外のメディアにも拡張できるのです。ただし、これは生成AIの一つの系統です。画像・音声・動画には、次に紹介する拡散モデルなど、別の方式も存在します。

    画像

    3. 画像・イラスト生成AIはどうやって絵を描くのか?

    画像生成AIには、さまざまな方式があります。代表的なのが、次の2種類です。

    • 拡散モデル(Diffusion Model):ノイズを段階的に取り除く、またはノイズ状態から画像へ変換する過程を学習する方式

    • 自己回帰モデル(Autoregressive Model):画像をトークンなどの系列として表現し、順番に生成する方式

    両者は画像を生成するという目的は同じですが、生成するための計算方法が異なります。

    3-1. 拡散モデルとは? ノイズから画像が生まれる仕組み

    拡散モデルは、画像生成AIを理解するうえで重要な技術です。簡単に表現すると、ノイズだらけの状態から、少しずつ目的の画像へ近づけていく方法です。

    例えば、山と海の風景を生成するとします。最初はランダムなノイズのような状態です。そこから、学習済みモデルを使って、画像に含まれるノイズを段階的に取り除く方向へ計算を進めます。テキストから画像を生成する場合は、「山」「海」「夕焼け」といった指示を条件として与えることで、生成内容を誘導します。最終的に、指示に合った風景画像が得られます。

    画像

    学習時と生成時では処理の方向が異なります。
    拡散モデルでは、概念的に次の2つを区別します。

    学習時
    元の画像にノイズを加えたデータなどを用意し、モデルがノイズや元画像への変換に必要な情報を推定できるように学習します。

    生成時
    ランダムな状態を出発点として、学習した変換を繰り返し、画像を生成します。このように、学習で身につけたノイズ除去能力を利用して、画像を生成していくのが基本的な考え方です。

    3-2. なぜ「潜在空間」を使うのか?

    高解像度の画像を、そのまま大量のピクセルとして処理すると、非常に大きな計算量が必要になります。そこで用いられるのが、潜在表現(Latent Representation)という考え方です。画像が持つ重要な特徴を、圧縮された数値表現として扱います。

    例えば、Latent Diffusion Model(潜在拡散モデル)では、次のような構成を採用します。

    1. 画像をエンコーダで潜在表現に変換する

    2. 圧縮された潜在空間で拡散モデルを学習する

    3. 生成時には潜在空間で新しい画像の表現を生成する

    4. デコーダで画像のピクセルへ復元する

    VAE(変分オートエンコーダ)などを利用した画像圧縮・復元の仕組みが、この構成で重要な役割を果たします。こうすることで、ピクセル空間で直接計算する場合と比較して、計算負荷を抑えられる場合があります。

    3-3. 画像もトークンを順番に生成できる

    では、LLMのような「次のトークン予測」で画像を生成する方法はあるのでしょうか。

    答えは、あります。

    その代表例が、OpenAIが2021年に公開した初代DALL·Eです。初代DALL·Eは、テキストと画像をトークン列として扱い、自己回帰的に生成するTransformerモデルでした。画像を適切なトークン表現に変換し、次に続く画像トークンを予測していけば、文章生成と類似した仕組みで画像を作り出せます。ただし、画像生成AIのすべてがこの方式を採用しているわけではありません。

    また、2025年にOpenAIが公開したGPT-4oの画像生成は、画像生成をモデルへネイティブに組み込んだ例ですが、公開されている製品説明だけから内部の生成手順のすべてを断定することはできません。

    特定のサービスが「画像をトークンで生成している」「拡散モデルだけで生成している」と断定するには、そのモデルの技術資料を確認する必要があります。


    4. 音楽生成AIはどうやって作曲しているのか?

    次に、音楽生成の仕組みを見ていきましょう。

    例えば、AIに次のように指示したとします。
    「ゆったりしたテンポで、ピアノ中心のジャズを作って」
    AIはこの文章を解析し、指示された雰囲気に合う音楽を生成します。

    しかし、音楽は文章とは大きく異なるデータです。私たちが聞く音は、時間とともに変化する音の波形(Waveform)として表現できます。さらに、音楽には音程、リズム、音色、楽器の重なりなど、多くの要素があります。この複雑なデータをどう扱うのでしょうか。

    4-1. 音声をトークン化して生成する方式

    代表例が、Metaが2023年に発表したMusicGenです。MusicGenは、音声を圧縮した離散的なトークン表現を利用して音楽を生成します。

    基本的な流れは次のとおりです。

    1. テキストの指示から音楽の特徴を取得する

    2. 音声トークンを順番に予測する

    3. 生成された音声トークン列をデコーダへ渡す

    4. 最終的な音の波形へ復元する

    画像

    この方式では、LLMの「次のトークン予測」という考え方が音楽生成にも応用されています。ただし、ここで予測しているのは、必ずしも「ド・レ・ミ」のような音符そのものではありません。

    MusicGenの場合、ニューラル音声コーデックで圧縮した音響情報のトークンを生成します。そのため、音程やリズムだけでなく、音色や音の質感を含む音声データを扱えます。

    4-2. 音声にも拡散モデルが利用される

    音楽生成には、トークン予測とは異なるアプローチもあります。

    例えば、Stability AIのStable Audio Openや、2026年5月に発表されたStable Audio 3では、音声の潜在表現に対して拡散モデルを利用する方式が採用されています。画像生成の場合と同様に、音声を圧縮した潜在空間で生成処理を行い、その結果を波形として復元します。

    ここまでを整理すると、音楽生成にも主に次のような方式が存在することがわかります。

    画像

    つまり、音楽生成AIが必ず楽譜を作り、それを演奏しているわけではないのです。


    5. 動画生成AIはどうやって映像を作るのか?

    最後は、動画生成です。一見すると、画像をたくさん生成して順番につなげれば動画が作れそうに思えます。

    しかし、動画生成には画像生成とは異なる難しさがあります。
    それは、時間方向の整合性です。

    例えば、走っている犬の動画を生成するとします。犬が次のフレームで突然別の犬になったり、走る方向が不自然に変わったりしてはいけません。背景やカメラの動きも、時間の経過に合わせて自然につながる必要があります。

    5-1. 動画は「空間」と「時間」の両方を扱う

    動画は、時間に沿って連続する画像フレームで構成されています。しかし、高品質な動画生成AIでは、各フレームを完全に独立した静止画として扱うだけでは不十分です。複数のフレームの関係や、被写体の動き、背景の変化などを同時に考慮する必要があります。

    画像

    5-2. Soraで使われた「時空間パッチ」という考え方

    動画生成技術の代表的な研究例として、OpenAIが2024年に公開した初代Soraの技術報告があります。

    この研究では、映像を圧縮した潜在表現に変換し、さらに時空間パッチ(Spacetime Patches)という小さな単位で扱います。時空間パッチとは、画像の縦・横だけでなく、時間方向の情報も含んだデータ単位です。このパッチをTransformerで処理することで、空間と時間の両方を考慮した映像生成を実現します。Soraの2024年公開の技術報告では、拡散モデルとTransformerを組み合わせた方式が説明されています。

    ここで混同しやすいのですが、Transformerを使っているからといって、必ず次のトークンを自己回帰的に予測しているわけではありません。Transformerはニューラルネットワークの構造であり、自己回帰生成にも拡散モデルにも利用できます。なお、ここでのSoraは2024年公開の研究アーキテクチャの例です。Sora製品の提供状況とは区別して理解してください。

    5-3. 映像だけでなく、音声との同期も必要

    動画生成AIは、映像だけでなく音声も扱う方向へ進化しています。

    例えばGoogle DeepMindのVeo 3.1は、映像と音声を組み合わせた生成機能を提供しています。動画に登場する人物の動きとセリフ、物体の衝突と効果音などを自然に対応させるには、映像と音声の時間的な関係を扱わなければなりません。実現方法としては、映像と音声を統合的に生成する方式や、映像をもとに音声を生成・同期させる方式などが考えられます。


    6. LLM・Transformer・拡散モデルの違いを整理する

    ここまでの内容で、最も混同しやすいのが技術用語の関係です。特に、「LLM」「Transformer」「拡散モデル」は同じ階層の概念ではありません。

    それぞれの位置づけを整理してみましょう。

    画像

    例えば、「Transformerを使った拡散モデル」と「Transformerを使った自己回帰モデル」は、どちらも成立します。これは、Transformerがネットワーク構造を表す言葉であり、拡散モデルや自己回帰生成がデータを生成する方法を表す言葉だからです。この違いを理解しておくと、生成AIの新しい技術を調べる際にも、各モデルの特徴を整理しやすくなります。


    7. よくある疑問を整理する

    Q1. LLMは次の単語を予測するだけなのに、どうして画像を作れるの?

    テキストだけを生成するLLMそのものが、必ず画像を直接生成するわけではありません。画像生成モデルと組み合わせる方法や、画像を扱う仕組みをモデルに統合する方法があります。

    また、初代DALL·Eのように、画像トークンを順番に予測することで画像を生成するモデルも存在します。「次の単語予測」という説明は、生成AI全体を説明するには不十分なのです。

    Q2. 拡散モデルも次のトークンを予測しているの?

    一般的な自己回帰モデルとは異なります。拡散モデルは、ノイズ状態から目的のデータへ変換する過程を扱います。Transformerやトークンに似たデータ表現を利用する場合でも、学習・生成の目的が次トークン予測とは限りません。

    Q3. AIが画像を作るのは、学習済み画像をつなぎ合わせているから?

    通常の生成モデルは、学習したデータの特徴や分布を利用して、新しい出力を計算します。単純に保存済み画像の一部を切り貼りする仕組みとは異なります。ただし、学習データに含まれる内容をモデルが記憶し、既存のデータに非常に近い出力を生成する場合もあります。そのため、「必ず完全に独創的なものを生成する」とも断定できません。

    Q4. 音楽生成AIは、楽譜を予測しているの?

    必ずしもそうではありません。MIDIや音符を生成する方式もありますが、MusicGenなどでは、圧縮された音声トークンを生成して音の波形に復元します。音楽を作る方法は一つではありません。

    Q5. 動画生成AIは、画像生成AIを何回も動かしているだけ?

    そうとは限りません。動画生成では、複数のフレーム間のつながりを扱う必要があります。そのため、映像の時間方向を含めた潜在表現や時空間パッチを利用するモデルもあります。動画生成を、単純な静止画生成の繰り返しだけで説明することはできません。


    8. IPA試験対策として押さえたい重要用語

    本記事で紹介した技術のうち、IPA試験の学習に関連して整理しておきたい用語をまとめます。

    画像

    これらの技術用語については、単に名称を暗記するだけでなく、「何を表現する技術なのか」「何を生成する技術なのか」を区別して理解することが重要です。特に、Transformerと拡散モデルを同じ分類の技術として理解しないようにしましょう。なお、上表は試験学習に関連する概念の整理であり、すべての用語についてIPA試験での出題実績を保証するものではありません。


    9. まとめ:生成AIの本質は、メディアに応じた表現と生成方法にある

    生成AIは、文章だけでなく、画像・イラスト・音楽・動画など、さまざまなコンテンツを生み出せるようになりました。その仕組みを整理すると、次のようになります。

    ① 文章生成
    テキストをトークンとして表現し、次のトークンを予測していく方式が基本となる。

    ② 画像・イラスト生成
    画像をトークンとして順に生成する方法や、ノイズから画像を生成する拡散モデルなどが存在する。

    ③ 音楽・音声生成
    音声トークンを自己回帰的に生成する方法や、拡散モデルで潜在表現を生成する方法などが存在する。

    ④ 動画生成
    映像の空間的な特徴に加えて、時間方向の関係を扱うことが重要になる。時空間パッチや拡散Transformerなどが、その代表的な技術例である。

    ここで、最初の疑問に戻りましょう。

    「次の単語を予測するAIが、なぜ画像・音楽・動画を作れるのか?」

    答えは、次の2つです。

    1. 単語だけでなく、画像や音声をトークンなどの表現に変換すれば、自己回帰的な生成をメディアへ応用できる。

    2. そもそもメディア生成には、次トークン予測以外にも、拡散モデルなどの生成方式が存在する。

    そして、これらを実現するために、Transformer、潜在表現、エンコーダ、デコーダなどの技術が組み合わされています。生成AIの新しいモデルが登場したときには、「どんなデータ表現を使うのか」「どの生成方式を採用しているのか」という視点で見ると、その技術を理解しやすくなります。


    関連記事


    参考資料

    1. OpenAI(2021年)「DALL·E: Creating images from text」
      https://openai.com/index/dall-e/

    2. Rombachほか(2021年公開、CVPR 2022)「High-Resolution Image Synthesis with Latent Diffusion Models」
      https://arxiv.org/abs/2112.10752

    3. OpenAI(2024年)「Video generation models as world simulators」
      https://openai.com/index/video-generation-models-as-world-simulators/

    4. Meta AI「AudioCraft: Generative AI for Audio」
      https://ai.meta.com/resources/models-and-libraries/audiocraft/

    5. Copetほか(2023年)「Simple and Controllable Music Generation」
      https://arxiv.org/abs/2306.05284

    6. Stability AI(2026年)「Introducing Stable Audio 3 & SAME」
      https://stability.ai/research/stable-audio-3

    7. OpenAI(2025年)「Introducing 4o Image Generation」
      https://openai.com/index/introducing-4o-image-generation/

    8. Google DeepMind「Veo 3.1」
      https://deepmind.google/models/veo/


     
     
    IT資格の勉強法・合格ノウハウを発信。 書籍では追いにくい最新技術や最新動向まで。 試験対策だけでなく実務にも活きる知識をお届け。 【保有資格】 ・IPA:FE、AP、SC ・DB:OracleDB-Gold、OSSDB-Gold ・Cloud:AWS-SAP、OCI-AP

    あなたへのおすすめ