强化学习（二）- 马尔可夫决策过程

马尔可夫决策过程

在可完全观测的情况下，系统环境与智能体之间的交互过程是，智能体根据观察到的环境状态$S_t\in S$，从可行的动作集$A$中选择一个动作$A_t$ 作出决策，系统根据其状态转移概率矩阵$\mathbf{P}$转移到新状态$S_{t+1}$，并针对智能体的行动$A_t$ 给出相应的奖励$R_{t+1}$，智能体根据新观察到的状态$S_{t+1}$重新进行下一步的动作$A_{t+1}$。

强化学习过程是解决序贯决策问题，可由马尔可夫决策过程完全刻画。马尔可夫决策过程的历史记录是由一系列的状态、行动和奖励所组成的时间序列

{S1,A1,R2,⋯ ,St−1,At−1,Rt,⋯ }\{S_1,A_1,R_2,\cdots,S_{t-1},A_{t-1},R_t,\cdots\}{S1​,A1​,R2​,⋯,St−1​,At−1​,Rt​,⋯}

按照本书的约定，针对行动$A_t$的即时奖励记为$R_{t+1}$，长期回报记为$G_t$。

马尔可夫决策过程可以由一个五元组$(S,A,\mathbf{P},R,\gamma )$ 表示，其中

(1) $S$，是一组有限的状态集合，S={s1,s2,⋯ }S=\{s_1,s_2,\cdots\}S={s1​,s2​,⋯}。

(2) $A$，是一组有限的行动集合，A={a1,a2,⋯ }A=\{a_1,a_2,\cdots\}A={a1​,a2​,⋯}。

(3) $\mathbf{P}$，是状态转移概率矩阵，pss′a=P{St+1=s′∣St=s,At=a}p_{ss'}^a=P\{S_{t+1}=s'|S_t=s,A_t=a\}pss′a​=P{St+1​=s′∣St​=s,At​=a}。

(4) $R$，是奖励函数，$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$。

(5) $\gamma$，是折现因子，$\gamma \in [0,1]$。

贝尔曼方程

策略是智能体在观察环境后产生的行动方案，马尔可夫决策过程采取的是随机性策略。具体地，策略描述了智能体采取不同行动的概率，即给定一个状态$s$，智能体采取行动$a$ 的概率为:
π(a∣s)=P{At=a∣St=s}\pi(a|s) = P\{A_t=a|S_t=s\}π(a∣s)=P{At​=a∣St​=s}

值函数是针对状态或行动的评价函数值函数，包括状态值函数和状态-行动值函数。

状态值函数$v_{\pi }(s)$是在给定策略$\pi$下，用于评价状态$s$ 的指标。具体地，状态值函数$v_{\pi }(s)$ 定义为：采用策略$\pi$，状态$s$ 获得的期望回报，即：$v_{\pi }(s)\doteq E_{\pi }[G_t|S_t=s]$。

状态-行动值函数$q_{\pi }(s,a)$是在给定策略$\pi$下，用于评价状态$s$下动作$a$ 的指标。具体地，状态-行动值函数$q_{\pi }(s,a)$定义为，采用策略$\pi$，在状态$s$下采用动作$a$获得的期望回报，即：$q_{\pi }(s,a)\doteq E_{\pi }[G_t|S_t=s,A_t=a]$。

其中，$E_{\pi }$表示在给定策略$\pi$下的期望，这只是一种符号约定，$E_{\pi }$的作用等价于$E$。

为了避免概念模糊，同时为了借鉴马尔可夫奖励过程中贝尔曼方程的推导过程，本章统一采用$E$ 替代状态值函数和状态- 行动值函数定义式中的$E_{\pi }$。

借鉴马尔可夫奖励过程中贝尔曼方程的推导过程，下面直接给出马尔可夫决策过程中的贝尔曼方程。
$v_{\pi }(s)=E[G_t|S_t=s]=E[R_{t+1}+\gamma G_{t+1}|S_t=s]=E[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]$

$q_{\pi }(s,a)=E[G_t|S_t=s,A_t=a]=E[R_{t+1}+\gamma G_{t+1}|S_t=s,A_t=a]=E[R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a]$

贝尔曼方程说明，值函数可以分为两部分：

(1) 当前时刻获得的即时奖励。

(2) 后续奖励在当前时刻的累积折现。

状态值函数$v_{\pi }(s)$与状态-行动值函数$q_{\pi }(s,a)$之间的关系为：
$v_{\pi }(s)=E[G_t|S_t=s]=\sum _a\pi (a|s)E[G_t|S_t=s,A_t=a]=\sum _a\pi (a|s)q_{\pi }(s,a)$

即$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$，其中，$\sum _a$ 是$\sum _{a\in A}$ 的简写。

为了深入理解马尔可夫决策过程中贝尔曼方程的含义，我们通过计算示意图来讲解状态值函数与状态-行动值函数之间的关系。

MDP贝尔曼方程的计算图解如图所示，图中假设智能体在每种系统状态下有两种动作可以选择，每个动作可能导致两种新的系统状态。系统在$t$时刻处于初始状态$S_t=s$，智能体采取行动$A_t=a$，在$t+1$时刻，系统处于状态$S_{t+1}=s^{\prime }$，智能体采取行动$A_{t+1}=a^{\prime }$。

状态值函数与状态-行动值函数之间的互推关系如图(a)所示。状态值函数$v_{\pi }(s)$ 是所有可能动作$\forall a\in A$发生的概率$\pi (a|s)$ 与对应的状态-行动值函数乘积$q_{\pi }(s,a)$之和$\sum _a$，即$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$。 状态值函数$v_{\pi }(s)$的求解示例如图 ~ \ref{fig:bellman1} ~  中蓝色虚线框所示。

状态-行动值函数$q_{\pi }(s,a)$的求解示例如图(a)中红色虚线框所示，$t$ 时刻的状态-行动值函数$q_{\pi }(s,a)$等于当前行动$A_t=a$ 的奖励$R_s^a$，加上该行动导致系统状态变为$S_{t+1}=s^{\prime }$带来的状态值函数在此刻的折现$\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$，即$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$。

$t$时刻的状态值函数$v_{\pi }(s)$与$t+1$时刻的状态值函数$v_{\pi }(s^{\prime })$的递推关系如图(a)中蓝色虚线框所示，将方程$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$ 代入方程$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$，即可得$v_{\pi }(s)=\sum _a\pi (a|s)[R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })]$。

$t$时刻的状态-行动值函数$q_{\pi }(s,a)$与$t+1$时刻的状态-行动值函数$q_{\pi }(s^{\prime },a^{\prime })$的递推关系如图(b)中红色虚线框所示，$t+1$ 时刻的状态值函数$v_{\pi }(s^{\prime })=\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$，将该方程代入方程$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$，即可得$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$。

MDP例子

如图所示，MDP~的状态空间 S={st1,st+11,st+12,st+13,st+14}~S=\{s_t^1, s_{t+1}^1, s_{t+1}^2, s_{t+1}^3, s_{t+1}^4\} S={st1​,st+11​,st+12​,st+13​,st+14​}，行动集 A={at1,at2,at+11,at+12,at+13,at+14,at+15,at+16,at+17,at+18}~A=\{a_t^1, a_t^2, a_{t+1}^1, a_{t+1}^2, a_{t+1}^3, a_{t+1}^4, a_{t+1}^5, a_{t+1}^6, a_{t+1}^7, a_{t+1}^8\} A={at1​,at2​,at+11​,at+12​,at+13​,at+14​,at+15​,at+16​,at+17​,at+18​}，折现因子$\gamma =1$。

假设初始$t$时刻处于状态$s_t^1$的概率为$1$，$t$时刻，智能体采取动作$a_t^1$ 的概率为$\pi (a_t^1|s_t^1)=0.5$，此时的奖励函数$R_{s_t^1}^{a_t^1}=3$；智能体采取动作$a_t^2$ 的概率为$\pi (a_t^2|s_t^1)=0.5$，此时的奖励函数$R_{s_t^1}^{a_t^2}=1$。

若智能体在$t$时刻采取动作$a_t^1$，则系统会在$t+1$时刻以概率$P_{s_t^1{s}_{t+1}^1}^{a_t^1}=0.4$ 转移至状态$s_{t+1}^1$，以概率$P_{s_t^1{s}_{t+1}^2}^{a_t^1}=0.6$转移至状态$s_{t+1}^2$；若智能体在$t$ 时刻采取动作$a_t^2$，则系统会在$t+1$时刻以概率$P_{s_t^1{s}_{t+1}^3}^{a_t^2}=0.7$转移至状态$s_{t+1}^3$，以概率$P_{s_t^1{s}_{t+1}^4}^{a_t^2}=0.3$转移至状态$s_{t+1}^4$。

若系统在$t+1$时刻转移到状态$s_{t+1}^1$，智能体采取动作$a_{t+1}^1$的概率为$\pi (a_{t+1}^1|s_{t+1}^1)=0.5$，此时的奖励函数$R_{s_{t+1}^1}^{a_{t+1}^1}=4$；智能体采取动作$a_{t+1}^2$的概率为$\pi (a_{t+1}^2|s_{t+1}^1)=0.5$，此时的奖励函数$R_{s_{t+1}^1}^{a_{t+1}^2}=7$。其余情况如图所示。

试计算图中所有动作的状态-行动值函数，以及所有状态的状态值函数。

\Solution 首先根据方程$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$求解$t+1$时刻的状态-行动值函数，由于没有后续状态和行动，因此，
$q_{\pi }(s_{t+1}^1,a_{t+1}^1)=R_{s_{t+1}^1}^{a_{t+1}^1}+0=4$
$q_{\pi }(s_{t+1}^1,a_{t+1}^2)=R_{s_{t+1}^1}^{a_{t+1}^2}+0=7$
$q_{\pi }(s_{t+1}^2,a_{t+1}^3)=R_{s_{t+1}^2}^{a_{t+1}^3}+0=1$
$q_{\pi }(s_{t+1}^2,a_{t+1}^4)=R_{s_{t+1}^2}^{a_{t+1}^4}+0=3$
$q_{\pi }(s_{t+1}^3,a_{t+1}^5)=R_{s_{t+1}^3}^{a_{t+1}^5}+0=8$
$q_{\pi }(s_{t+1}^3,a_{t+1}^6)=R_{s_{t+1}^3}^{a_{t+1}^6}+0=5$
$q_{\pi }(s_{t+1}^4,a_{t+1}^7)=R_{s_{t+1}^4}^{a_{t+1}^7}+0=10$
$q_{\pi }(s_{t+1}^4,a_{t+1}^8)=R_{s_{t+1}^4}^{a_{t+1}^8}+0=3$

根据方程$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$求解$t+1$ 时刻的状态值函数
$v_{\pi }(s_{t+1}^1)=\pi (a_{t+1}^1|s_{t+1}^1)q_{\pi }(s_{t+1}^1,a_{t+1}^1)+\pi (a_{t+1}^2|s_{t+1}^1)q_{\pi }(s_{t+1}^1,a_{t+1}^2)=0.5\times 4+0.5\times 7=5.5$
$v_{\pi }(s_{t+1}^2)=\pi (a_{t+1}^3|s_{t+1}^2)q_{\pi }(s_{t+1}^2,a_{t+1}^3)+\pi (a_{t+1}^4|s_{t+1}^2)q_{\pi }(s_{t+1}^2,a_{t+1}^4)=0.5\times 1+0.5\times 3=2$
$v_{\pi }(s_{t+1}^3)=\pi (a_{t+1}^5|s_{t+1}^3)q_{\pi }(s_{t+1}^3,a_{t+1}^5)+\pi (a_{t+1}^6|s_{t+1}^3)q_{\pi }(s_{t+1}^3,a_{t+1}^6)=0.5\times 8+0.5\times 5=6.5$
$v_{\pi }(s_{t+1}^4)=\pi (a_{t+1}^7|s_{t+1}^4)q_{\pi }(s_{t+1}^4,a_{t+1}^7)+\pi (a_{t+1}^8|s_{t+1}^4)q_{\pi }(s_{t+1}^4,a_{t+1}^8)=0.5\times 10+0.5\times 3=6.5$

接下来，根据方程$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$求解$t$时刻的状态-行动值函数
$q_{\pi }(s_t^1,a_t^1)=R_{s_t^1}^{a_t^1}+\gamma (P_{s_t^1{s}_{t+1}^1}^{a_t^1}{v}_{\pi }(s_{t+1}^1)+P_{s_t^1{s}_{t+1}^2}^{a_t^1}{v}_{\pi }(s_{t+1}^2))=3+1\times (0.4\times 5.5+0.6\times 2)=6.4$

$q_{\pi }(s_t^1,a_t^2)=R_{s_t^1}^{a_t^2}+\gamma (P_{s_t^1{s}_{t+1}^3}^{a_t^2}{v}_{\pi }(s_{t+1}^3)+P_{s_t^1{s}_{t+1}^4}^{a_t^2}{v}_{\pi }(s_{t+1}^4))=1+1\times (0.7\times 6.5+0.3\times 6.5)=7.5$

最后，根据方程$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$求解$t$ 时刻的状态值函数，
$v_{\pi }(s_t^1)=\pi (a_t^1|s_t^1)q_{\pi }(s_t^1,a_t^1)+\pi (a_t^2|s_t^1)q_{\pi }(s_t^1,a_t^2)=0.5\times 6.4+0.5\times 7.5=6.95$