見出し画像

拡散モデルが GAN を超えたのは 2021 年｜それでも GAN 損失が Stable Diffusion の中で現役な理由

Fandhe

敵対的生成ネットワーク（GAN）が画像生成の主流だったのは 2014 年から 2020 年頃までで、ベンチマーク上で拡散モデル（Diffusion Model）に超えられたのは 2021 年です。それでも GAN の学習信号である「GAN 損失」は生き残りました。Stable Diffusion のオートエンコーダと、拡散モデルを高速化する 3 つの蒸留手法（ADD・LADD・DMD2）の中で今も動いています。DMD2 は Improved Distribution Matching Distillation の略です。
この記事は、GAN がいつ主流を譲り、どこに部品として残っているかを一次ソースの数値で整理します。2020 年に「並び」、2021 年に「超えた」という 2 段階を、分布の距離を測る Fréchet Inception Distance（FID、低いほど良い）で示します。あわせて超解像・音声ボコーダ・潜在拡散のオートエンコーダ・拡散モデルの蒸留（Knowledge Distillation）という現役の場所を列挙します。
本記事はピラー記事「生成 AI のモデルは 5 種類で整理できる」の GAN 編です（AI と一緒に読む方法も参照）。

この記事でわかること

  • GAN が 2014 年に生まれた理由（尤度計算と Markov 連鎖の回避）と、生成器・識別器が競う学習の仕組み

  • 拡散モデルが GAN に「並んだ」2020 年と「超えた」2021 年の FID、改良の系譜（DCGAN → WGAN → ProgressiveGAN → StyleGAN → BigGAN）。DCGAN は Deep Convolutional GAN、ProgressiveGAN は Progressive Growing of GANs の略

  • 2026-09 時点で GAN 損失が現役の場所（Real-ESRGAN、HiFi-GAN、Stable Diffusion のオートエンコーダ、蒸留）と、R3GAN による単体再評価の留保

結論

  • GAN は生成器と識別器を競わせる生成方式（Goodfellow ら、2014）。尤度計算と Markov 連鎖を回避するために生まれた

  • 改良は安定化（DCGAN → WGAN → スペクトル正規化 → StyleGAN2-ADA）と高解像度・制御・スケール（ProgressiveGAN → StyleGAN → BigGAN）の 2 系統

  • 交代は 2 段階。2020 年に DDPM が ProgressiveGAN と並び、2021 年に Dhariwal & Nichol が ImageNet 128×128 の FID 2.97（同論文の比較で BigGAN-deep 6.02）で超えた

  • 強みは 1 ステップ生成の速さ・鮮明さ・少データ学習、弱みはモード崩壊・不安定性・分布のカバー率

  • GAN 損失は潜在拡散のオートエンコーダ・ADD・LADD・DMD2 で現役。単体でも超解像・音声ボコーダ・画像変換で残る

  • 2026-09 時点では text-to-image の主流ではないが部品として現役。R3GAN の単体再評価は大規模 text-to-image では未検証

GAN とは何ですか？

敵対的生成ネットワーク（GAN）は、生成器と識別器の 2 つのネットワークを競わせて学習する生成方式です。 Goodfellow ら（2014）が 2014 年 6 月に投稿し、NIPS 2014 で発表しました。生成器（Generator）はノイズから画像などのデータを作り、識別器（Discriminator）は入力が本物か生成物かを判定します。論文はこの学習を「minimax two-player game」と呼びます。
GAN は 2014 年から 2020 年頃まで画像生成の主流でした。2021 年に拡散モデルが ImageNet の FID で BigGAN-deep を超え、商用の画像生成は 2022 年頃に拡散モデルへ置き換わりました（ピラー記事と同じ整理です）。ただし GAN は消えていません。識別器の判定を学習信号にする「GAN 損失」は、Stable Diffusion のオートエンコーダや、拡散モデルを 1〜4 ステップに高速化する蒸留の内部で現役です。

GAN はなぜ必要になったのですか？

GAN は、尤度の計算と Markov 連鎖を回避して深層生成モデルを学習するために生まれました。 Goodfellow ら（2014）は序論で、それまでの深層生成モデルの影響が小さかった理由を、最尤推定で生じる計算困難な確率計算の近似が難しかったためだと述べています。
論文が対比した先行方式は 2 系統です。第一は Markov 連鎖に依存する方式で、関連研究では深層ボルツマンマシン（DBM）などが挙げられ、Markov chain Monte Carlo の mixing に課題があるとされます。第二は近似推論ネットワークを使う方式で、Kingma & Welling（2013）の変分オートエンコーダ（VAE）が該当します。GAN はどちらも使いません。アブストラクトは "There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples." と述べます。学習でもサンプル生成でも、Markov 連鎖や展開した近似推論ネットワークは一切不要である、という意味です。
この設計で GAN は、確率密度を明示しないモデルになりました。生成手続きだけを定める暗黙的生成モデル（implicit generative model）です（Mohamed & Lakshminarayanan、2016）。Salimans ら（2016）も「テストデータに高い尤度を割り当てるモデルを訓練するのが目的ではない」と明記しています。尤度を捨てた代わりに、再構成損失では平均化されて失われる細部を識別器の判定で補えます。一方で「良し悪しをどう測るか」という問題が残り、後の Inception Score（IS）と FID につながります。VAE の詳細は個別記事（公開予定）で扱います。

GAN はどのように発展してきましたか？

GAN の改良は「学習の安定化」「高解像度と制御」「スケール」の 3 系統に分けられます。 主な出来事を年順に並べます（年月は arXiv 投稿時点）。

  • 2014-11 条件付き GAN: 条件 y を生成器と識別器に入力

  • 2015-11 DCGAN: 畳み込み構造で安定化

  • 2016-06 Salimans ら: モード崩壊の記述、Inception Score

  • 2017-01 WGAN / 2017-03 WGAN-GP: 損失関数の側からの安定化

  • 2017-06 FID: Inception Score を補う評価指標

  • 2017-10 ProgressiveGAN: 1024² の顔画像

  • 2017-11 Lucic ら: 大規模比較で「十分な調整と再試行で多くのモデルが同程度のスコアに達する」と報告

  • 2018-02 スペクトル正規化: 識別器側の安定化

  • 2018-09 BigGAN: ImageNet 128×128 で IS 166.5 / FID 7.4

  • 2018-12 StyleGAN / 2019-12 StyleGAN2: 属性の分離とスケール別制御

  • 2020-06 StyleGAN2-ADA: 識別器への適応的データ拡張（Adaptive Discriminator Augmentation、ADA）。少数データ学習と、5 万枚のクラス条件付き CIFAR-10 での SOTA FID 更新（v1 で 5.59 → 2.67、2020-10 の v2 で 2.42）

  • 2021-06 StyleGAN3（題名「Alias-Free Generative Adversarial Networks」）: エイリアシングの解消

学習を安定させる改良にはどんなものがありますか？

安定化の改良は、モード崩壊・学習の不安定性・少データの 3 つの問題に対応しています。 構造の側から手を打ったのが DCGAN（Radford ら、2015）で、教師なしで「部品からシーンまでの表現階層」を学習しました。損失関数の側からは WGAN です。Arjovsky ら（2017）は Wasserstein 距離に基づく損失で「学習の安定性を改善し、モード崩壊のような問題を取り除き、デバッグとハイパーパラメータ探索に有用な学習曲線を提供する」と述べています。WGAN-GP（Gulrajani ら、2017）は勾配ペナルティで「ほぼハイパーパラメータ調整なしで多様な構造を安定学習」できるとしました。識別器側の正規化が Miyato ら（2018）のスペクトル正規化です。少データには StyleGAN2-ADA（Karras ら、2020）が、識別器に入る画像へ適応的にデータ拡張をかけ、MetFaces 1,336 枚など数千枚規模の学習を成立させました。5 万枚の CIFAR-10 は別の実験で、構成調整を加えてクラス条件付きの SOTA FID を 5.59 から 2.42 に更新しています（後述の「合成データを作る」データ拡張とは別物です）。この 2.42 は 2020 年 10 月の改訂版 v2 の値で、6 月の初版 v1 では 2.67 でした。

高解像度・制御・スケールはどう進みましたか？

解像度は ProgressiveGAN、制御は StyleGAN、スケールは BigGAN が押し上げました。 Karras ら（2017）の ProgressiveGAN は低解像度から層を段階的に追加し、CelebA で 1024² の顔画像を生成しました（CIFAR-10 の IS 8.80）。Karras ら（2018）の StyleGAN はスタイルベースの生成器で高レベル属性の教師なし分離とスケール別制御を実現し、FFHQ を公開しました。スケールの節目が BigGAN で、Brock ら（2018）は大規模学習で ImageNet 128×128 の IS を 166.5、FID を 7.4 にし、従来最良（IS 52.52 / FID 18.6）を更新しました。2018 年の BigGAN と StyleGAN までが GAN の高解像度・スケール競争で、以降は拡散モデルとの交代に入ります。

拡散モデルが GAN を超えたのはいつですか？

2020 年に並び、2021 年に超えました。 ベンチマーク上の交代は 2 段階で起きています。
第 1 段階は 2020 年 6 月の DDPM（Denoising Diffusion Probabilistic Models）です。Ho ら（2020）は無条件 CIFAR-10 で Inception Score 9.46 / FID 3.17 を報告しました。あわせて「256×256 LSUN で ProgressiveGAN と同等のサンプル品質」と述べています。同じ 2020 年 6 月、StyleGAN2-ADA の初版（v1）は学習画像 5 万枚のクラス条件付き CIFAR-10 で FID 2.67 を報告しました（Karras ら、2020。同年 10 月の改訂版（v2）では 2.42 に更新されています。少数データ実験とは別設定）。DDPM の 3.17 は無条件、StyleGAN2-ADA の 2.42 はクラス条件付きで、条件が異なります。同条件で GAN が上とは断定できません。ただし 2020 年時点で GAN がなお最良級の FID を報告していたとは言えます。
第 2 段階は 2021 年 5 月の Dhariwal & Nichol（2021）です。ImageNet 128×128 で FID 2.97（同論文の比較表では BigGAN-deep が 6.02）、256×256 で 4.59、512×512 で 7.72 を報告しました。分類器の勾配で多様性と忠実度を交換する分類器ガイダンス（classifier guidance）を導入しました。論文は「25 回の forward pass でも BigGAN-deep に並び、分布のカバー率はより良い」と述べています。ここで「超えた」と言えます。
論文の主張は、25 ステップでも品質で並び分布のカバー率で上回ったという点までで、「速さより分布を取りこぼさないことが決め手だった」は本記事の整理です。ベンチマーク上の逆転（2021 年）と商用の主流交代は別の出来事です。商用の text-to-image は 2022 年頃に拡散モデルへ置き換わり、現在は拡散とフローマッチング（Flow Matching）が占めます（ピラー記事の整理）。DDPM と分類器ガイダンスの詳細は拡散モデルの個別記事（公開予定）で扱います。

生成器と識別器はどう学習しますか？

GAN は、識別器の判定を学習信号にして、尤度を計算せずに 1 回の順伝播で生成する方式です。 以下は Goodfellow ら（2014）の基本形で、敵対的損失を再構成損失などと併用する派生は後述します。生成器 G はノイズ z から G(z) を作り、識別器 D は入力 x が本物である確率 D(x) を出します。目的関数は次の 1 行です。
min_G max_D V(D, G) = 𝔼[log D(x)] + 𝔼[log(1 − D(G(z)))]
D はこの値を最大化し（本物に高い D(x)、生成物に低い D(G(z)) を出すほど大きい）、G はこれを最小化します（本物と誤認させるほど小さい）。両者を交互に更新します。基本の形はこれだけです。非飽和損失や最適な識別器の導出は論文本文に譲ります。

図 1: 生成器と識別器は、判定を学習信号として互いに更新し合う

他 4 方式との違いは「尤度を計算するか」「生成に何ステップかかるか」の 2 軸で決まります（定義はピラー記事に合わせています）。

  • 自己回帰モデル（Autoregressive Model）: 尤度を計算でき、1 トークンずつ逐次生成する。GAN は尤度を計算せず、1 回の順伝播で生成する

  • 拡散モデル: 固定したノイズ付加過程を逆にたどる多ステップ生成で、学習が安定し多様性が高い。GAN は 1 ステップだが不安定になりやすい

  • フローマッチング: ノイズとデータを結ぶベクトル場を回帰で学び、数ステップで生成する。GAN は経路を学ばず、識別器の判定を学習信号にする

  • 変分オートエンコーダ（VAE）: 潜在変数の分布を学び、尤度の下界を最大化する。単体では出力がぼやける。GAN は下界も使わない

なぜ GAN には Inception Score や FID が必要なのですか？

尤度を計算しないため、サンプルの側から品質を測る指標が必要になったからです。 通常の GAN 損失の値だけでは生成品質を判断しにくいという事情がありました（WGAN は有用な学習曲線を提供すると明記しており、「学習曲線で進捗を測れない」という意味ではありません）。Salimans ら（2016）は Inception ネットワークの分類分布から Inception Score を提案しました。算出式は、Kullback–Leibler ダイバージェンス（KL）を使う exp(E[KL(p(y given x) vs p(y))]) です。翌年、Heusel ら（2017）は FID を提案し、「生成画像と実画像の類似度を Inception Score より良く捉える」と述べています。FID は DDPM や Dhariwal & Nichol の評価にもそのまま使われ、主流交代を同じ物差しで語れるのはそのためです。

GAN の強みと弱みは何ですか？

強みは 1 ステップ生成の速さと鮮明さ、弱みは分布の取りこぼしと学習の難しさです。 この対比が、主流を譲った理由と部品として残った理由の両方を説明します。

GAN の強みは何ですか？

速さ・鮮明さ・少データ学習・潜在空間の制御性の 4 点です。

速さは 1 回の順伝播で生成が終わることに由来します。Kang ら（2023）の GigaGAN は 512px の画像を 0.13 秒で生成し、16 メガピクセル生成にも対応しました。Kong ら（2020）の HiFi-GAN は 22.05 kHz の音声を V100 1 枚で実時間の 167.9 倍の速さで合成しました。CPU 軽量版でも実時間の 13.4 倍で、自己回帰手法と同等の品質を報告しています。

鮮明さは、画素単位の再構成損失では失われやすい細部を敵対的目的が補うことです。Isola ら（2016）は、ユークリッド距離の最小化は「妥当な出力すべての平均化で最小化されるためぼける」と述べ、pix2pix は敵対的損失に L1 損失を併用します。少データ学習では StyleGAN2-ADA が MetFaces 1,336 枚で学習を成立させました。潜在空間の制御性では StyleGAN が高レベル属性の教師なし分離とスケール別の制御を実現しています（Karras ら、2020 / 2018）。

GAN の弱みは何ですか？

モード崩壊・学習の不安定性・汎化の問題・分布のカバー率の 4 点です。

モード崩壊は生成器が限られた出力しか出さなくなる失敗です。Salimans ら（2016）は §3.2 で「生成器が常に同じ点を出すパラメータに崩壊する」と記述しました。Arjovsky ら（2017）の WGAN は「モード崩壊のような問題を取り除く」ことを目標に掲げています。学習の不安定性は、WGAN・WGAN-GP・スペクトル正規化がいずれも「安定化」を主目的にしていることが証拠です。汎化については Arora ら（2017）が、学習が成功して見えても学習分布が目標分布から遠いことがあると指摘しました。分布のカバー率は、本記事が主流交代の要因と見る点です。Dhariwal & Nichol（2021）は、25 forward pass の拡散モデルが BigGAN-deep より「カバー率が良い」と報告しています。

留保を添えます。Huang ら（NeurIPS 2024、arXiv 2025-01）の R3GAN は「GAN の学習が難しいという定説は旧式の構成に起因する」と反論しています。同論文は、正則化した relativistic GAN 損失でモード欠落と非収束に対処したと主張しています。本節の「不安定」は 2014〜2020 年の構成についての整理であり、一般論として断定しません。

GAN はどんなサービスやモデルで使われていますか？

GAN は単体の画像・音声生成器としてオープンモデルに残り、拡散モデルの内部では GAN 損失として現役です。 方式が論文・公式リリースで確認できるものだけを挙げます。

単体の生成器としてはどこで使われていますか？

顔・画像生成、超解像、画像変換、音声ボコーダ、データ拡張の 5 用途です。

大規模 text-to-image の GigaGAN（Kang ら、2023）は研究成果であり、商用サービスでの採用は未確認です。

拡散モデルの内部ではどこに GAN 損失が残っていますか？

Stable Diffusion のオートエンコーダと、拡散モデルを高速化する 3 つの蒸留手法の 4 か所です。

図 2: 拡散モデルの内側に、敵対的な学習の部品が組み込まれている（4 つの部品は別々の採用事例を並べたもので、1 つのモデルに同時に載る構成ではない）

第一に潜在拡散のオートエンコーダです。Stable Diffusion の基礎であるこのオートエンコーダは、Rombach ら（2022）の §3.1 のとおり「知覚損失とパッチ単位の敵対的目的の組み合わせ」で訓練されています。Stable Diffusion を動かすたびに GAN 損失で訓練されたデコーダが動いています。

第二に Adversarial Diffusion Distillation（ADD）です。Sauer ら（2023）はスコア蒸留と敵対的損失で 1〜4 ステップで生成するモデル（論文の表記は ADD-XL）を作りました。既存の少ステップ手法（GAN と Latent Consistency Models）を 1 ステップで上回り、4 ステップで SDXL に並ぶと報告しました。第三に Latent Adversarial Diffusion Distillation（LADD）です。Sauer ら（2024）は、ADD の固定 DINOv2 識別器の代わりに潜在拡散モデルの生成特徴を識別に使いました。Stable Diffusion 3（8B）に適用した SD3-Turbo は、ガイダンスなしの 4 ステップで最先端の text-to-image に並ぶと報告しています。第四に DMD2 です。Yin ら（2024）は蒸留手続きに「GAN 損失を統合し、生成サンプルと実画像を識別する」ことを取り入れました。報告値は ImageNet 64×64 の FID 1.28、zero-shot COCO 2014 の 8.35 です。

蒸留の系譜（2023-11 → 2024-03 → 2024-05）で敵対的損失は繰り返し採用され、GAN の強み（1 ステップ・鮮明さ）が拡散モデルの弱み（多ステップ）を補う部品になっています。主役ではなくなっても、部品としては残りました。

GAN は今も使われていますか？

text-to-image の主流ではありませんが、GAN 損失は部品として現役です。

第一に、主流ではありません。商用の text-to-image は拡散モデルとフローマッチングが占めます（ピラー記事の整理）。2025〜2026 年に GAN 方式を公式に明示した商用の text-to-image サービスは、本記事の調査（2026-09-07）では確認できていません。「存在しない」と言い切る根拠はありません。

第二に、部品としては現役です。潜在拡散のオートエンコーダ、ADD、LADD、DMD2 の 4 件で GAN 損失が使われています。単体でも超解像（Real-ESRGAN）、音声ボコーダ（HiFi-GAN）、画像変換（pix2pix / CycleGAN）で残っています。

第三に、単体生成器としての再評価も続いています（留保付き）。GigaGAN（2023）に続き、R3GAN（Huang ら、NeurIPS 2024）は論文の数表で次の FID を報告しています。拡散モデルと競合するという主張です（R3GAN はいずれも関数評価回数（NFE）1、論文の Config E。FFHQ は無条件、CIFAR-10 と ImageNet-64 はクラス条件付きの設定です）。

  • FFHQ-256: R3GAN 2.75、StyleGAN2 3.78、潜在拡散モデル（LDM、200 NFE）4.98

  • FFHQ-64: R3GAN 1.95、EDM（79 NFE）2.39

  • CIFAR-10: R3GAN 1.96、StyleGAN2-ADA 2.42

  • ImageNet-64: R3GAN 2.09、EDM（79 NFE）2.23

同じ表には、論文が別枠に置く ImageNet 事前学習ありの GAN がより良い値で並びます。ただし R3GAN 自身が「高解像度の ImageNet や大規模 text-to-image でのスケーラビリティは未検証」と明記しており、単体で拡散モデルを置き換えたと読む根拠はありません。以上は 2026-09 時点の整理であり、変わりうるものです。

GAN はこれからどうなりますか？

一次ソースで確認できる見通しは「部品としての利用の継続」と「単体でのスケール検証の未了」の 2 点です。 市場規模や採用率の予測は一次ソースに辿れないため書きません。

第一のトレンドは、拡散モデルの蒸留で敵対的損失が採用され続けていることです。ADD（2023-11）、LADD（2024-03）、DMD2（2024-05）と続き、LADD は「スケーリング挙動を系統的に調査した」とアブストラクトに明記しています（Sauer ら、2024）。Lu ら（2025-07）の DMDX は、2 つを組み合わせた手法です。拡散ベースの識別器を使う Adversarial Distribution Matching と、潜在・画素両空間の識別器による敵対的蒸留です。SDXL の 1 ステップ生成で DMD2 を上回ったと報告しています。したがって、GAN 損失が蒸留の部品として使われる流れは 2025-07 まで一次ソースで確認できます。

第二は、単体生成器としての将来課題です。R3GANは Discussion and Limitations で、"we are yet to verify the scalability on higher resolution ImageNet data or large-scale text to image generation tasks."（高解像度の ImageNet や大規模 text-to-image でのスケーラビリティはまだ検証していない）と述べています。あわせて「あらゆるデータセット・タスクで既存モデルを上回ると主張するものではなく、収束しやすい新しい単純なベースラインを提供する」と位置づけています。単体生成器として拡散モデルを置き換える見通しは、論文自身が示していません。

見通しは不確実であり、以上は 2026-09 時点の一次ソースの記述に限定した整理です。「復活する」「消える」のどちらも断定しません。

まとめ

  • GAN は生成器と識別器を競わせる生成方式（Goodfellow ら、2014）。尤度計算と Markov 連鎖を回避するために生まれた

  • 改良は安定化（DCGAN → WGAN → スペクトル正規化 → StyleGAN2-ADA）と高解像度・制御・スケール（ProgressiveGAN → StyleGAN → BigGAN）の 2 系統

  • 交代は 2 段階。2020 年に DDPM が ProgressiveGAN と並び、2021 年に Dhariwal & Nichol が ImageNet 128×128 の FID 2.97（同論文の比較で BigGAN-deep 6.02）で超えた

  • 強みは 1 ステップ生成の速さ・鮮明さ・少データ学習、弱みはモード崩壊・不安定性・分布のカバー率

  • GAN 損失は潜在拡散のオートエンコーダ・ADD・LADD・DMD2 で現役。単体でも超解像・音声ボコーダ・画像変換で残る

  • 2026-09 時点では text-to-image の主流ではないが部品として現役。R3GAN の単体再評価は大規模 text-to-image では未検証

  • 5 方式の地図はピラー記事にある

FAQ

GAN（敵対的生成ネットワーク）とは何ですか？

生成器と識別器の 2 つのネットワークを競わせて学習する生成方式です。Goodfellow らが 2014 年に提案しました。生成器はノイズから画像などを作り、識別器は本物か生成物かを判定します。尤度を計算せず、1 回の順伝播で生成できるのが特徴です。

拡散モデルが GAN を超えたのはいつですか？

2 段階です。2020 年の DDPM が LSUN 256×256 で ProgressiveGAN と同等の品質に並びました。2021 年の Dhariwal & Nichol が ImageNet 128×128 で FID 2.97（同論文の比較で BigGAN-deep は 6.02）を出して超えました。2020 年時点では StyleGAN2-ADA が学習画像 5 万枚のクラス条件付き CIFAR-10 で FID 2.42 を報告しています。無条件 CIFAR-10 の DDPM（3.17）と比較条件は異なるものの、GAN もなお最良級の値を出していました。

モード崩壊とは何ですか？

生成器が限られた出力しか生成しなくなる失敗です。Salimans ら（2016）は「生成器が常に同じ点を出すパラメータに崩壊する」と記述しました。WGAN（2017）が Wasserstein 距離に基づく損失でこの問題の解消を目標に掲げました。

Stable Diffusion の中にも GAN が使われているというのは本当ですか？

本当です。Stable Diffusion の基礎である潜在拡散のオートエンコーダは、知覚損失とパッチ単位の敵対的目的を組み合わせて訓練されています（Rombach ら、2022）。ADD や LADD による高速化にも敵対的損失が使われています。

GAN は今も使われていますか？

text-to-image の主流ではありませんが、部品としては現役です。超解像（Real-ESRGAN）、音声ボコーダ（HiFi-GAN）、拡散モデルのオートエンコーダや蒸留で GAN 損失が使われています。R3GAN（NeurIPS 2024）のように単体生成器としての再評価も続いていますが、大規模 text-to-image への拡張は未検証です（2026-09 時点の整理）。

参考リンク


いいなと思ったら応援しよう！