【Hung-yi Lee】《Introduction to Generative Artificial Intelligence》（13）-CSDN博客

Introduction to Generative AI 2024 Spring

文章目录

1、第18講：有關影像的生成式AI (下) — 快速導讀經典影像生成方法 (VAE, Flow, Diffusion, GAN) 以及與生成的影片互動（24.05.31）
2、VAE、flow-based、diffusion、GAN 图像生成方法的区别与联系
3、参考

1、第18講：有關影像的生成式AI (下) — 快速導讀經典影像生成方法 (VAE, Flow, Diffusion, GAN) 以及與生成的影片互動（24.05.31）

VAE

文生图的挑战：文字无法穷尽画面，可能有多种情况都符合文字描述的内容，例如上面的两张图，都是奔跑的狗，一个在草地上，一个在城市里

模型基于提供的文字描述，脑补的内容不一样，生成的结果也不一样，如何处理脑补问题？

可以引入一个资讯抽取模型，提取出图片中没有被文字描述到的内容

如何训练资讯抽取模型呢？

自监督的方式

auto-encoder（encoder-decoder 结构之一）

在这里插入图片描述

Encoder–Decoder 是一个通用框架

Auto-Encoder 是其中一种特殊情况（输入=输出）

抽取的不是文字（人理解的），是向量（模型理解的）

测试的时候，资讯哪里来？

可以随机脑补

Flow-based

encoder 和 decoder 功能相反，我们有必要训练两个模型吗？

训练一个 decoder（invertible 可逆的），反函数就是 encoder

noise 是什么资讯都没有吗？非也，上面可以提取臭脸和笑脸 noise

一张图，对 encoder 编码后的向量，减去臭脸 noise，加上笑脸 noise，可以让其笑得更开心

Diffusion Model

denoise，反复 500次、1000次，可以得到比较干净的图片

denoise 结构本身也可以是 transformer

diffusion transformer

文字生成影片也一样，多了很多 frame

forward process，reverse process

GAN

generative adversarial network

generator 和 discriminator 交替训练

没有标准答案，只要 discriminator 觉得好就是成功了

文生图任务时，杂讯不要也可以

GAN 是个外挂，可以和 VAE、Flow、Diffusion 联动

GAN 的 discriminator 和 RLHF 比较

维度	GAN discriminator	RLHF
本质	二分类器	奖励模型（回归/排序）
输入	数据样本（如图片）	模型输出（如文本）
输出	真 / 假概率	好 / 坏评分
监督信号	真数据 vs 假数据	人类偏好标注
作用	逼近真实数据分布	对齐人类价值/偏好

思想上有一个共通点：👉 都在学一个“评价函数”，来指导生成模型

角色	GAN	RLHF
生成模型	Generator	LLM
评价模型	Discriminator	Reward Model
训练信号	真/假	好/坏

👉 都是在优化一个“隐式目标函数”

GAN：
学数据分布 ( $p_{data}(x)$ )
RLHF：
学人类偏好分布 ( $p_{human}(y|x)$ )

都在训练一个“评价模型”指导生成

Genie：generative interactive environments

有没有可能跟生成的影像有更强的互动

eg：直接操控这个人要走去哪里，直接做个开放世界游戏？

Genie (Generative Interactive Environments) 是由 Google DeepMind 开发的一种突破性基础世界模型（Foundation World Model）。

与传统的视频生成模型（如 Sora 或 Veo，它们生成的是不可交互的线性视频）不同，Genie 生成的是一个可交互、可玩的虚拟环境。用户可以像玩游戏一样，通过输入指令实时控制环境中的角色或物体。

Genie 就是做的这个事情，2D 游戏，训练模型达到输入当前帧和当前操作，输出下一帧画面的效果

可以搜集大量的游戏影片，但是没有使用者的操作，如何 train 呢？

用自监督的方式，之前讲的 noise 对应这里的 latent action，也即使用者输入的动作

效果展示，上述 latent action 对应右上跳

更多的例子，任意一张图片，配合 latent action，生成符合 action 的下一帧画面

eg：开放世界开车，考驾照练习

自 2024 年首次发布以来，Genie 经历了快速的性能提升：

版本	发布时间	主要特征	性能表现
Genie 1	2024年3月	2D 平台游戏环境生成的概念验证	分辨率较低，1 fps（不可玩）
Genie 2	2024年12月	引入 3D 环境生成能力	360p 分辨率，一致性维持约 10-20 秒
Genie 3	2025年8月	高清实时交互与记忆力增强	720p @ 24 fps，一致性长达 1 分钟以上

应用场景与意义：Genie 不仅仅是一个“游戏生成器”，它具有深远的科研和工业价值：

AI 智能体训练的“无限健身房”：研究人员可以利用 Genie 自动生成无限多的模拟环境，训练机器人或自动驾驶 AI（如 Waymo 已采用 Genie 3 开发了 Waymo World Model）。
零成本游戏原型：设计师只需一张手绘草图、一张照片或一段文字描述，Genie 就能瞬间将其变成一个可运行的游戏关卡。
无需物理引擎的模拟：Genie 不依赖代码编写的物理定律，而是通过数据学习“常识”，如光影反射、液体流动或布料形变。

局限性

虽然 Genie 3 已达到 24fps 的实时交互水平，但它仍面临挑战：在长时间交互后（通常超过一分钟），环境可能会出现一致性漂移（如地形突然改变或物理规则失效），且生成极度复杂的社会交互或精细文字仍然较难。

2、VAE、flow-based、diffusion、GAN 图像生成方法的区别与联系

方法	像什么画画方式
VAE	把图片“压缩成密码”，再还原
GAN	两个人对抗练习画画
Flow-based	一步步“可逆变形”
Diffusion	从噪声慢慢“显影”成图

🎨 一、VAE：像“记忆+想象”的画家

👉 想象你看过很多猫的图片

你会做两件事：

1️⃣ 把猫“总结成一个抽象记忆”（比如：耳朵尖、毛茸茸）
2️⃣ 再根据这个记忆画一只新猫

👉 VAE 就是：

Encoder：把图片变成“记忆密码”（z）
Decoder：从密码再画出来

✔ 优点：能生成新图
❌ 缺点：画出来有点“糊”（不够清晰）

⚔️ 二、GAN：像“画家 vs 老师对抗”

👉 有两个人：

👨‍🎨 画家（Generator）：负责画假图片
👨‍🏫 老师（Discriminator）：负责判断真假

过程是：

1️⃣ 画家画一张“假猫”
2️⃣ 老师说：这不像真猫！
3️⃣ 画家改进
4️⃣ 一直对抗训练

👉 最后：

画家画得越来越像真的

✔ 优点：画得很清晰、很真实
❌ 缺点：训练容易“崩”（比如只会画一种猫）

🔄 三、Flow-based：像“魔术变形”

👉 想象你有一团橡皮泥（随机噪声）

你用一系列可逆变形：

圆球 → 拉长 → 捏出耳朵 → 变成猫

关键是：

👉 每一步都可以“反过来”

所以：

可以从噪声变成图片
也可以从图片变回噪声

✔ 优点：

数学上很漂亮（精确概率）
可逆

❌ 缺点：

模型很大、很耗计算

🌫️ 四、Diffusion：像“从噪声中显影照片”

👉 想象一张清晰图片：

你先把它一步步加噪声：

猫 → 模糊 → 更模糊 → 全是雪花点

训练模型学会：

👉 如何一步步把噪声还原回图片

生成时：

纯噪声 → 一点点变清晰 → 最终变成猫

✔ 优点：

现在最强（Stable Diffusion、Midjourney）
细节丰富、稳定

❌ 缺点：

生成慢（要很多步）

🔗 五、它们之间的“联系”

其实四种方法都在做一件事：

👉 学习“图片长什么样”

只是方式不同：

🧠 统一视角（稍微进阶一点）

方法	本质
VAE	学“压缩分布”
GAN	学“真假边界”
Flow	学“可逆变换”
Diffusion	学“去噪过程”

🧩 六、一个非常关键的现实关系

👉 现在最强的模型是：

Diffusion + VAE

比如：

Stable Diffusion

流程是：

图片 → VAE 压缩 → latent
latent 上做 diffusion
再 decode 回图片

👉 这样更快、更省算力

🧠 七、总结

VAE：先记住，再画（但有点模糊）
GAN：画家和老师打架，越画越真
Flow：像橡皮泥，来回变形
Diffusion：从噪声慢慢变清晰（现在最强）

3、参考

https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
https://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from=333.1387.homepage.video_card.click&vd_source=8e91f8e604278558ec015e749d1a3719