24、强化学习与马来语情感词典构建研究

强化学习与马来语情感词典构建研究

一、强化学习在Pong游戏中的应用

（一）问题表述

从端到端强化学习（RL）的角度来构建Pong游戏模型。用 ( s ) 表示将输入像素的二维数组展平后得到的输入向量，( \pi(a|s; w) ) 表示一个策略函数，它在给定状态 ( s ) 和参数化权重 ( w ) 的情况下预测动作 ( a )。策略网络的预测输出 ( y ) 表示根据策略 ( \pi ) 得出的最佳动作，输出 ( y ) 采用独热编码方式。用 ( W_{ij}^l ) 表示第 ( l ) 层连接输入集 ( i ) 到输出集 ( j ) 的权重矩阵。

在Pong游戏中，当其中一个玩家获得21分时，一轮游戏结束。在一轮游戏中，一系列图像帧 ( s_t \in R^{high×width} )、强化学习智能体采取的一系列动作 ( a_t \in {1, 2, 3} ) 以及一系列奖励信号 ( r_t \in {-1, 0, 1} ) 构成了该轮游戏的一批经验。如果NPC获胜，在该帧 ( t ) 的评估奖励 ( r_t = -1 )；如果强化学习智能体获胜，( r_t = 1 )；游戏进行时，( r_t = 0 )。由于 ( t ) 时刻获得的奖励或惩罚也与之前的动作有关，所以需要将 ( t ) 时刻的评估信息传播到更早的动作，通过 ( r_{t - 1} = r_{t - 1} + \gamma r_t ) 来实现，其中 ( \gamma ) 是折扣因子。

我们期望强化学习智能体学习到策略 ( \pi(w) ) 后，累积回报 ( R ) 能达到最大化，累积回报公式为：
[ R = \sum_{t = 0}^{H} \pi(a_t|s_t; w)r_