强化学习：Q-learning与DQN（Deep Q Network）

最新推荐文章于 2025-03-21 10:32:11 发布

原创最新推荐文章于 2025-03-21 10:32:11 发布 · 9.4k 阅读

68 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

强化学习

本文介绍了强化学习中的Q-learning方法，详细阐述了Q值表、ε-greedy策略及其算法流程。接着讲解了DQN（Deep Q Network），通过引入神经网络解决大规模状态和动作空间的问题，并解释了Experience replay和Fixed Q-target策略，帮助理解DQN的收敛机制。

该文章已生成可运行项目，

Q-learning是一种很常用很传统的强化学习方法，DQN是Q-learning和神经网络的结合，是近年来很火的强化学习方法。

Q-learning

Q-learning会输出一张Q值表，如果有m个状态，n个动作，这个Q值表的size就是m*n；使用时，查表就行，先确定当前状态s，在看这个状态s对应的那一行，在输出这一行Q 值最大的动作，就完成了一次决策过程。

所以，使用Q-learning，首先要设计状态空间s（会有哪些状态），动作空间a（会有哪些动作），以及reward。最最简单的例子，一维迷宫，假如一共有五个格子，最后一个格子是出口（T，target），机器（A，agent）最开始处于第一个格子，机器可以选择的动作是向左走一格或者向右走一格，初始状态如下：

$A ~\_~ \_~ \_~ T$

不难想到，我们的状态空间可以设置成5个状态（对应A处于五个格子的状态），动作空间可以设置成两个动作（对应A向左向右的动作），reward可以设置如下，其中 $s^{'}$ 表示在当前状态s采取动作a后，会跳转到的下一个状态。

$reward(s,a)=\begin{cases} 1 & s'= T \\ 0 & else \end{cases}$

如果机器在初始状态选择向右走这一动作，下一个状态就变成下面，这个转换带来的reward就是0。

$_ ~A~ \_~ \_~ T$

Q值的更新利用贝尔曼方程

$Q_{target} = R + \gamma \max_{a'} Q(s', a') \tag{1}$

$Q(s,a)+\alpha(Q_{target}-Q(s,a)) \tag{2}$

其中， $s^{'}$ 表示在状态 $s$ 选择了动作 $a$ 后跳转到的下一个状态， $max_{a'} Q(s', a')$ 表示选取下一个状态 $s^{'}$ 中的最大Q值(对应Q值表中 $s^{'}$ 这一行的最大值)。 $\alpha$ 是学习率， $\gamma$ 是未来reward换算到当前时刻状态的衰减，表示未来Q值对当前状态的带有衰减的影响，如果我们一直套用迭代公式(1)，

$\begin{aligned} Q_{target} & = R + \gamma \max_{a'} Q(s', a') \\ & = R + \gamma(R'+\gamma\max_{a''} Q(s'', a'')) \\ & = R + \gamma(R'+\gamma(R''+\gamma \max_{a'''} Q(s''', a'''))) \\ & = \dots \\ & = R + \gamma R'+\gamma^2 R''+\gamma^3 R'''+\dots \\ \end{aligned}$

可以看到，当前时刻Q的目标值其实是未来reward 按照 $\gamma$ 衰减的和。如果 $\gamma=0$ ，则说明当前状态的Q值更新，只和跳转的下一状态有关；如果 $\gamma=1$ ，则说明未来决策的所有reward对当前状态的Q值更新有影响，且影响程度一样。

一些名词

transition：一次transition就是执行一次下列过程，对当前状态 $s$ ，选取动作 $a$ 后，进入下一时刻状态 $s^{'}$ ，拿到奖励 $r$ ；可以表示为 $(s, a, r, s^{'})$ 。
episode：一次episode就是一套完整的决策过程，按照上面的一维迷宫的例子，就是从初始状态，到找到出口target，之间包含的所有transition。有点类似监督学习中的epoch。

epsilon-greedy

Q值表会有一个初始值，为了让Q值表在学习之初，能够尽可能的探索更多的状态，可以设置一个 $\epsilon$ 概率，即对于每一次transition，有 $1-\epsilon$ 概率，会随机选择动作 $a$ ，而不是选取状态 $s$ 对应的Q值最大的 $a$ ，这样就能进入不同的下一时刻状态 $s^{'}$ ，探索更多的可能。

随着episode的增加， $\epsilon$ 可以逐渐增大，这样在学习晚期能够更深入的挖掘已经学习到的好的决策过程，减少对未知的探索，所以这是一个explore vs exploit的过程。

算法流程

超参数：learning_rate（ $\alpha$ ）, reward_decay（ $\gamma$ ）, e_greedy（ $\epsilon$ ）

DQN

Q-learning如果状态很多，动作很多时，需要建立的Q值表也会十分的庞大，因此我们可以利用神经网络来计算Q值，利用神经网络的输出来代替查找Q值表得到的Q值。

有两种可选方案，我们把神经网络抽象成 $f (\cdot)$ ，方案一： $Q = f (s, a)$ ，即利用神经网络学习状态s和采用状态a对应的Q值，相当于学习Q值表的一个表格；方案二： $Q = f (s)$ ，即利用神经网络，一次性学习状态s采取各个动作的Q值，神经网络输出 $Q$ 是一个向量，长度是动作总数，相当于学习Q值表的一行。

DQN还使用了两个有效的策略，即Experience replay和Fixed Q-target，来打乱经历之间的相关性，有助于收敛。

记忆库(Experience replay)

记忆库会存储过去出现的transition。如果我们设置记忆库的大小N=500，则超过N之后，存入的transition会覆盖掉记忆库中最早存入的transition。

这样，神经网络就可以利用批学习，例如设置batch=32，从记忆库中打乱顺序随机取出batch个transition，进入神经网络利用反向传播学习参数。为何要随机取transition，这是为了打乱transition之间的相关性。

固定Q-目标(Fixed Q-target)

我们知道，在监督学习中，神经网络的更新需要计算loss的梯度反向传播，在DQN中也是如此，那么DQN的label是什么呢？这就需要另一个策略————Fixed Q-target。

在这个策略下，需要维持两个一模一样结构的神经网络，两个网络分别叫做eval_net和target_net。看名字就知道，eval_net是用来计算估计值的，target_net是用来计算目标值的。对于一个transition（s, a, r, s’），s会输入eval_net来计算估计Q值q_eval，s‘会输入target_net来计算目标Q值q_target，q_target再经过贝尔曼方程得到真正的目标label y

$\gamma \times q\_target$