论文精读——Recognizing Human Actions as the Evolution of Pose Estimation Maps

论文精读——Recognizing Human Actions as the Evolution of Pose Estimation Maps, CVPR2018

Abstract

  大多数基于视频的动作识别方法选择从整个视频中提取特征来识别动作。杂乱的背景和非动作运动限制了这些方法的性能，因为它们缺乏对人體运动的明确建模。随着最近人体姿态估计的进步，这项工作提出了一种新方法，将人体动作识别为姿态估计图的演变 (the evolution of pose estimation maps)。我们不依赖于从视频中估计的不准确的人体姿态，而是观察到姿态估计图（姿态估计的副产品）保留了更丰富的人體线索，以利于动作识别。具体来说，姿态估计图的演变可以分解为热图Heatmaps（例如，概率图）的演变和估计的二维人体姿态的演变，分别表示身体形状和身体姿态的变化。考虑到热图的稀疏性，我们开发了空间秩池化 (Spatial Rank Pooling)方法，将热图的演变聚合为身体形状演变图像 (body shape evolution image)。由于身体形状演变图像不能区分身体部位，我们设计了身体引导采样方法 (body guided sampling)，将姿态的演变聚合为身体姿态演变图像 (body pose evolution image)。这两种图像之间的互补特性通过深度卷积神经网络来探索，以预测动作标签。在 NTU RGB+D、UTD-MHAD 和 PennAction 数据集上的实验验证了我们方法的有效性，该方法优于大多数最先进的方法

ⅠINTRODUCTION

1.1 Motivation and Objective

  从视频中识别人体动作的研究已经进行了几十年，因为这项任务在智能监控、人机交互和基于内容的视频检索中有着广泛的应用。现有方法 [22, 43, 37, 24, 1] 的本质是学习将视频转换为动作标签的映射函数。由于这些方法不能直接从视频中区分出人体，因此很容易受到背景杂乱和非动作运动的影响。为了解决这一局限性，另一种解决方案是检测视频中的人体并估计每帧中的身体姿态。这种方法在深度视频的人体动作识别领域表现良好，例如微软 Kinect [55, 27]。通过使用准确的身体姿态估计方法 [36] 从每个深度帧中检测 3D 姿态，深度视频中的人体运动可以简化为 3D 姿态序列 [52]。最近的深度学习模型，例如 CNN [17, 20]、RNN [9] 和 LSTM [26, 25]，在提取的 3D 姿态上取得了很高的性能，优于依赖原始深度视频序列的方法 [32, 50]。3D 人体姿态的成功激励了我们从视频中估计 2D 人体姿态来进行动作识别。然而，尽管图像和视频中的 2D 姿态估计取得了显著进展 [51, 5, 46, 2, 4]，但其性能仍不如深度视频中的 3D 姿态估计。图 1 展示了使用一种最先进的姿态估计方法 [4] 从视频帧中估计的姿态。由于复杂的背景和人体部位的自遮挡，估计的姿态并不完全可靠，可能会误解人体的配置。在图 1 (b) 的第一行中，白色边框中的多模态姿态估计图指示了人的手的位置。该图包含两个峰值，其中真实位置并不对应最高的峰值，从而对手的位置提供了错误的估计。为了更好地利用姿态估计图，我们提出直接建模姿态估计图的演变来进行动作识别，而不是依赖于从姿态估计图中估计的不准确的 2D 姿态。在图 1 © 中，热图（平均姿态估计图）提供了更丰富的信息来反映人体形状。

由本段话可知，本文的主要成就是跳过了Pose Estimation对姿态的2D估计步骤，而直接使用了Heatmap更加准确的估计了人体的形状

1.2 Method Overiew and Contributions

  本文的方法如图 2 所示。对于视频的每一帧，我们使用卷积姿态机(Convolutional Pose Machine)来预测每个身体部位的姿态估计图。表示这些姿态估计图的目标是保留全局线索（反映整体形状，受噪声影响较小）和局部线索（详细描述身体部位的位置）。为此，我们对所有身体部位的姿态估计图进行平均，为每一帧生成一个平均姿态估计图（热图）。热图的时间演变可以反映身体形状的运动。与原始 RGB 图像不同，热图是稀疏的。考虑到巨大的空间冗余，我们开发了一种空间秩池化(Spatial Rank Pooling)方法，将热图压缩为紧凑而信息丰富的特征向量。空间秩池化的优点在于，它可以在不显著丢失热图空间分布信息的情况下，有效抑制空间冗余。特征向量的时间拼接构建了一个二维的身体形状演变图像，反映了身体形状的时间演变；由于身体形状演变图像不能区分身体部位，我们进一步从每个身体部位的姿态估计图中预测关节点位置，为每一帧生成一个姿态。由于估计的姿态关节点数量有限，我们利用身体结构来引导更丰富的姿态关节点的采样，以表示人体。所有姿态关节点的时间拼接构建了一个身体姿态演变图像，反映了身体部位的时间演变。直观地，身体形状演变图像和身体姿态演变图像有助于识别身体形状的一般运动和身体部位的精细运动。因此，这两种图像通过卷积神经网络（CNN）来生成具有区分性的特征，这些特征通过后期融合来预测动作标签。总体而言，我们的贡献有以下三点。
• 鉴于从视频中估计的二维姿态不准确，我们通过将动作识别为姿态估计图的演变，而不是不可靠的二维身体姿态，从而提升了人体动作识别的性能。
• 姿态估计图的演变被描述为身体形状演变图像和身体姿态演变图像，这两种图像以紧凑的方式捕捉了整个身体和特定身体部位的运动。
• 通过使用卷积神经网络（CNN）和后期融合方案，我们的方法在 NTU RGB+D、UTD-MHAD 和 PennAction 数据集上实现了最先进的性能。

完整过程如下图，流程如上文的流程图所示，首先使用Convolution pose machines提取出各个部位的热图Heatmap(代表每个部位头肩手在图像中的出现位置的概率，因此模型的输出是一个多通道的热图)，然后求平均得到形状估计图b，求argmax得到姿态估计图b，随后将形状估计图与姿态估计图送入两个输入的编码器提取特征，最后融合。

Ⅱ Relate Work

2.1 3D Pose-based Action Recognition

  3D姿态为从深度视频中识别人体动作提供了直接的物理解释。手工设计的特征 [42, 47, 13] 被用于描述3D姿态的演变。最近，深度神经网络被引入来建模姿态的空间结构和时间动态。例如，Du等人 [9] 首次使用分层RNN进行基于姿态的动作识别。Liu等人 [25] 扩展了这一思路，提出了时空LSTM来学习空间和时间域。为了增强LSTM的注意力能力，开发了全局上下文感知注意力LSTM [26]，借助全局上下文来提升性能。

2.2 Video-based Action Recognition

  局部特征与运动相关，并且在一定程度上对杂乱背景具有鲁棒性。空间时间兴趣点（STIPs） [22] 和密集轨迹 [43] 被用于提取和描述局部时空模式。基于这些基本特征，提出了多特征最大间隔层次贝叶斯模型 [49] 和一种名为多跳特征堆叠 [21] 的新特征增强技术，以学习更具区分性的特征。由于局部特征忽略了全局关系，整体特征通过双流卷积网络 [37] 进行编码，该网络通过在空间和时间上融合卷积网络来学习时空特征。基于这一网络，进一步探索了空间和时间结构之间的关系 [11, 45]。与双流网络不同，动作的空间和时间信息可以在输入CNN之前进行融合。Fernando等人 [12] 提出了秩池化方法，将所有视频帧聚合为一个紧凑的表示。Bilen等人 [1] 将秩池化方法与CNN深度融合，生成了一个高效的动态图像网络。人体动作本质上是身体运动的结构化模式。最近的研究 [56, 31, 14, 38, 30] 提取了整个人体或身体部位，而不是整个视频，用于动作分析。同时，人体动作识别和姿态估计任务已被整合，以提取姿态引导的特征进行识别。Wang等人 [41] 改进了一种现有的姿态估计方法，然后设计了姿态特征来捕捉身体部位的空间和时间配置。Xiaohan等人 [48] 提出了一个框架，将动作识别和姿态估计的训练和测试整合在一起。他们将动作分解为姿态，进一步分为中层ST部件和部件。最近，Du等人 [8] 提出了一个端到端的递归网络，可以利用人体姿态的重要时空演变来协助在一个统一框架中的动作识别。与姿态特征 [41] 或姿态引导的颜色特征 [48, 8] 不同，本文仅从姿态估计图中识别人体动作，这在动作识别任务中尚未被探索过。

Ⅲ Generation of Pose Estimation Maps

  本节从视频的每一帧预测姿态估计图（如图 3(a) 所示），然后生成热图（如图 3(b) 所示）和姿态（如图 3© 所示），以表示每一帧。

姿态估计图Pose Estimation：从单张图像进行人体姿态估计的任务可以建模为一个结构预测问题。在 [34] 中，提出了一种姿态机，用于依次预测身体关节的姿态估计图，其中先前预测的姿态估计图在后续阶段迭代改进估计。设 Y k ∈ { x , y } Y_k\in \{x,y\} Yk​∈{x,y},表示身体关节$k$ 的坐标集合。结构输出可以表示为 Y = { Y 1 , . . . , Y k , . . . Y K } Y=\{Y_1,...,Y_k,...Y_K\} Y={Y1​,...,Yk​,...YK​}
多类分类器$g_t^k$被训练用于在第$t$阶段预测第$k$个身体关节。对于图像位置$z$，将其分配给第$k$个身体关节的姿态估计图表示为：

$$B_k^t(Y_k=z)=g_k^t\left({\mathbf{f}}_z,\bigcup _{i=1,...,K}\psi (z,B_i^{t-1})\right),$$
其中$f_z$是位置 z 处的颜色特征,$B_{t-1}^i$是由$g_{t-1}^i$ 预测的姿态估计图，∪ 是向量连接的运算符，ψ 是用于从前述姿态估计图中计算上下文特征的特征函数。经过 T 个阶段后，生成的姿态估计图用于预测身体关节的位置。姿态机 [34] 使用随机森林的提升分类器作为弱学习器。相反，本文应用卷积姿态机 [46, 4] 将姿态机与卷积架构相结合，无需图形模型风格的推理，并提升了姿态机的性能。

热图与姿态Heatmaps & Poses:
热图是姿态图的概率平均：
$$G_n=\frac{1}{K}\sum _{k=1}^K{B}_{k,n}^T$$
而关节的具体位置则由最大后验准则（MAP）确定，${\mathbf{z}}_{k,n}$表示第$n$帧时第$k$个关节的位置
$${\mathbf{z}}_{k,n}=\arg \underset{\mathbf{z}\in \mathcal{Z}}{\max }\left[B_{k,n}^T(Y_k=\mathbf{z})\right]$$

Ⅳ Evolution of Pose Estimation Maps

  本节描述了如何将热图的演变表示为身体形状演变图像，使用时间秩池化（图 3(d)）实现，并在此基础上开发了空间秩池化（图 3(e)）。此外，开发了身体引导采样方法，将姿态的演变表示为身体姿态演变图像（图 3(f)）。这两种图像的互补特性通过卷积神经网络（CNN）进行学习。

4.1时间秩池化Temporal Rank Pooling

时间秩池化被用于编码热图的演变，聚合视频的时间信息
  作为一种稳健且紧凑的视频表示方法，时间秩池化 [12, 1] 能够通过学习排序的方法聚合视频中的时间相关信息。编码的时间信息表示帧之间的顺序，这是一种对不同类型输入数据不太敏感的稳健特征。由于热图与自然图像不同，我们将热图视为一种新型数据，并应用时间秩池化来编码热图的演变。假设一个序列 G = { G 1 , . . . , G n , . . . G N } G=\{G_1,...,G_n,...G_N\} G={G1​,...,Gn​,...GN​} 包含了$N$个热图，将所有帧数的热图重新映射为一个向量
$$v_n=\frac{1}{n}\sum _{i=1}^N{G}_i$$
  其中时间秩池化通过优化一个线性函数 ψ(v;u) 来保持时间顺序关系。具体来说，假设$v_{n+1},v_n$分别表示第 n+1 帧和第 n 帧的向量化表示,则 $v_{n+1}\succ v_n\iff {\mathbf{u}}^T\cdot v_{n+1}>{\mathbf{u}}^T\cdot v_n,$ 时间秩池化的目标是确保：通过优化 u，时间秩池化方法能够学习到一个线性函数，使得${\mathbf{u}}^T\cdot v_n$的值随着 n 的增加而增加，从而保持时间顺序关系。

4.2空间秩池化Spatial Rank Pooling

空间秩池化用于压缩冗余的热图信息，将其压缩为较短的丰富的特征向量
  我们将 u 重塑为与输入帧相同的大小，以便于观察。如图 3(d) 所示，时间秩池化方法主要保留了空间信息，而忽略了大部分时间信息。为了改进这一点，我们提出了一种新的空间秩池化方法（s-rk），该方法同时考虑了空间和时间信息。观察到每个热图中存在巨大的空间冗余。因此，我们利用学习排序的方法将每个热图减少为一个紧凑的特征，该特征具有保留空间顺序的能力。根据时间顺序连接所有特征向量将生成一个身体形状演变图像，该图像可以以紧凑的方式保留热图的空间和时间信息。生成身体形状演变图像的流程如图 4 所示。具体来说，我们将序列 V 的第 n 帧划分为 P 行，即$G=\{(p_1{)}^T,...,(p_s{)}^T,...(p_P{)}^T\}$，或者Q列，即$G=\{(q_1{)}^T,...,(q_s{)}^T,...(q_Q{)}^T\}$。同样使用函数$V^T$将其映射为向量
使用结构风险最小化和最大间隔框架，目标定义为：
$$\arg \underset{u_{\eta }}{\min }\frac{1}{2}\Vert u_{\eta }{\Vert }^2+W\sum _{\forall i,j}{ϵ}_{ij}$$
约束条件定义为
$$(u_{\eta }{)}^T\cdot (v_{\eta si}-v_{\eta sj})\ge 1-{ϵ}_{ij},{ϵ}_{ij}\ge 0$$

依据上图，取所有行列，将其映射为向量，在经过秩池化得到排序的特征最终所有行排列出特征向量，所有列排列出特征向量，行列特征向量拼接，最后按照时间轴组合成body shape evolution image

  最后得到横轴为时间，纵轴为空间的身体形状演变图

4.3身体引导采样Body Guided Sampling

  由于身体形状演变图像仅考虑了累积姿态估计图的形状，而不能区分不同的关节点，我们需要身体姿态演变图像来考虑每个特定关节点的信息。为此，本节从关节点构建身体姿态演变图像，这些关节点通过身体引导采样密集采样，以表示人体的具体姿态。假设一个序列 V L = { L 1 , . . . , L n , . . . L N } V_L=\{L_1,...,L_n,...L_N\} VL​={L1​,...,Ln​,...LN​}.在记录姿态序列时，人体与深度视频之间的距离并不完全相同。换句话说，不同的姿态序列具有各自的尺度，这为相同类型的动作带来了内部变化。因此对每帧姿态的对应坐标进行归一化。为了以紧凑的方式编码姿态关节点的空间和时间演变，我们将预处理的姿态序列$V_L$表示为身体姿态演变图像。由于原始估计的姿态关节点过于稀疏，无法表示人体，我们根据身体结构对关节点标签进行排序，并使用线性插值从姿态肢体中采样丰富的点。

原始关节点过于稀疏，在原始关节点中间插入更多关节点，有利于提高姿态表示的精度形成更丰富的特征（后面的图神经网络就直接可以跳过这个稀疏的问题）

4.4后期融合Late fusion

  如图二中的最右侧图，shape和pose的估计图被送入两个独立的CNN编码器，提取特征后拼接，再经过softmax得到每一类别概率。其中为适应CNN的三通道，shape的单通道被复制三次，pose在x,y后添加一个零通道形成三通道

Ⅴ Experiment

5.1 Datasets and Settings

Implement Details：在我们的模型中，每个卷积神经网络（CNN）包含五个卷积层和三个全连接（fc）层。第一和第二全连接层包含 4,096 个神经元，第三层的神经元数量等于动作类别的总数。滤波器尺寸分别设置为 11×11、5×5、3×3、3×3 和 3×3。采用局部响应归一化（LRN）、最大池化和 ReLU 神经元，dropout 正则化比例设置为 0.5。网络权重使用动量值为 0.9、权重衰减为 0.00005 的小批量随机梯度下降进行学习。学习率设置为 0.001，最大训练周期设置为 60。当 CNN 模型在训练集上达到 99% 的准确率时，提前停止训练过程。在每个周期中，通过从训练集中随机采样图像构建一个包含 C 个样本的小批量。对于 NTU RGB+D 数据集、UTD-MHAD 数据集和 PennAction 数据集，分别根据训练集的大小将 C 设置为 64、16 和 16。为了减少随机参数初始化和随机采样的影响，我们重复训练 CNN 模型五次并报告平均结果。实现基于 PyTorch，使用一张 TITAN X 显卡和 16G 内存。

5.2 Discussions

  视频中的 2D 姿态和深度视频中的 3D 姿态：由于从视频中估计的姿态失去了深度线索，我们首先评估了深度信息在基于姿态的人体动作识别中的重要性。在表 1 中，从深度视频中提取的 3D 姿态序列被描述为一个三通道的身体姿态演变图像，进一步通过 CNN 编码以预测动作标签。这种方法称为 “S2”（3D姿态）。通过将深度通道的所有值设置为零，使用深度视频中的 2D 姿态序列代替。这种方法称为 “S1”（深度中的2D姿态）。在 UTD-MHAD 数据集上，不使用深度通道时，准确率从 89.44% 下降到 85.53%。而在 NTU RGB+D 数据集上，跨受试者设置的准确率仅下降了 1.86%（从 82.38% 到 80.52%），跨视角设置的准确率仅下降了 0.90%（从 86.65% 到 85.75%）。这些结果表明，深度信息可以提高识别性能，但在使用大规模训练数据时，深度通道的影响会降低，因为训练有素的 CNN 模型可以从 2D 姿态中推断出深度线索。这些结果支持了从视频中估计 2D 姿态用于动作识别的潜力，尤其是在没有直接深度线索的情况下。
  视频中的 2D 姿态：尽管 2D 姿态估计方法取得了显著进展，但其性能仍不如深度视频中的 3D 姿态估计。这部分通过将视频中的 2D 姿态与深度视频中的 2D 姿态和 3D 姿态进行比较，评估了视频中 2D 姿态的性能。“H1” 表示我们提出的方法，使用身体姿态演变图像。在 NTU RGB+D 数据集上，“H1” 的性能不如 “S1”。原因是该数据集包含多视角样本，这给视频中的 2D 姿态带来了比深度视频中的 3D 姿态更多的模糊性。在 UTD-MHAD 数据集上，“H1” 的性能与 “S1” 相当。原因是该数据集包含从单视角观察的样本，这有助于 RGB 视频和深度视频中的姿态估计。总体而言，视频中的 2D 姿态只能在简单场景中与深度视频中的 2D 姿态竞争；视频中的 2D 姿态几乎无法达到深度视频中的 3D 姿态的性能。
  视频中的热图：我们不仅使用单独的 2D 姿态，还评估了将热图与 2D 姿态结合用于视频中动作识别的性能。方法 “H3” 使用空间秩池化将热图描述为身体形状演变图像。为了进行比较，方法 “H2” 通过时间秩池化实现。“H3” 在 NTU RGB+D 和 UTD-MHAD 数据集上均比 “H2” 高出超过 15%，这验证了空间秩池化方法在保留空间和时间线索方面的优势。方法 “H1 + H3” 表示 2D 姿态和热图的结合。“H1 + H3” 至少比 “H1” 高出 5%。图 7 显示了在 NTU RGB+D 数据集上使用跨受试者协议的详细改进。这些结果表明了 2D 姿态和热图的互补性。在图 8 中，我们分析了 10 种动作的混淆矩阵。红色方框突出了通过结合 2D 姿态和热图，在动作 “使用扇子（用手或纸）/感到热（49）” 的识别上的改进。如图 9 所示，身体姿态演变图像仅捕获了 2D 姿态关节点，这些关节点由于遮挡而具有噪声。然而，身体形状演变图像捕获了热图的全局形状，可以为推断 2D 姿态关节点的准确位置提供线索。

5.3. 与最先进方法的比较

  我们的方法与基于3D姿态的方法相比：即使在2D姿态估计不准确的情况下，我们的方法在NTU RGB+D和UTD-MHAD数据集上仍然优于基于3D姿态的方法。例如，在NTU RGB+D数据集上，我们的方法“H1 + H3”在跨受试者识别中达到了78.80%的准确率，在跨视角识别中达到了84.21%的准确率，优于大多数最先进的基于3D姿态的方法。在UTD-MHAD数据集上，我们的方法“H1 + H3”达到了92.51%的准确率，同样优于大多数最先进的基于3D姿态的方法。这些结果表明，我们的方法可以有效地捕捉身体形状和姿态的演变，即使在2D姿态估计存在噪声的情况下也是如此。
  我们的方法与基于视频的方法相比：我们的方法在PennAction数据集上也优于许多基于视频的动作识别方法。例如，我们的方法“H1 + H3”达到了91.39%的准确率，优于“Pose + IDT-FV”（92.00%）和“Action Bank”（83.90%）等方法。这些结果表明，我们的方法结合了2D姿态和热图信息，可以有效地提高动作识别的性能。
  总体性能：在所有三个数据集上，我们的方法始终优于其他最先进的方法，证明了其在动作识别任务中的鲁棒性和有效性。身体形状演变图像和身体姿态演变图像的结合提供了对人体动作的全面表示，从而提高了识别准确率。

6 Conclusion

  本文提出了一种从视频中识别人体动作的新方法，通过建模姿态估计图的演变来实现。我们利用姿态估计图提供的更丰富的线索来提高动作识别的性能，而不是依赖于从视频中估计的不准确的二维人体姿态。具体来说，我们将姿态估计图的演变分解为热图的演变和估计的二维人体姿态的演变，分别表示身体形状和身体姿态的变化。我们开发了空间秩池化方法来聚合热图的演变，生成身体形状演变图像，并使用身体引导采样方法来聚合姿态的演变，生成身体姿态演变图像。通过深度卷积神经网络探索这两种图像的互补特性，以预测动作标签。在 NTU RGB+D、UTD-MHAD 和 PennAction 数据集上的实验结果证明了我们方法的有效性，优于大多数最先进的方法。我们工作的主要贡献如下：
1.我们提出了一种通过建模姿态估计图的演变来识别动作的新方法，与传统的二维姿态估计方法相比，提供了更丰富的身体形状和姿态信息。
2.我们引入了空间秩池化和身体引导采样技术，有效地捕捉了身体形状和姿态的时间演变，为动作识别生成了更具区分性的特征。
3.我们的方法在多个基准数据集上实现了最先进的性能，证明了其在不同类型视频数据上的鲁棒性和泛化能力。
  总之，这项工作通过利用姿态估计图的演变，为人体动作识别提供了一个全面的框架，为该领域的未来研究指明了有前景的方向。

参考文献

[34].V. Ramakrishna, D. Munoz, M. Hebert, J. A. Bagnell, and Y. Sheikh. Pose machines: Articulated pose estimation via inference machines. In European Conference on Computer Vision (ECCV), pages 33–47, 2014.
[12].B. Fernando, E. Gavves, J. M. Oramas, A. Ghodrati, and T. Tuytelaars. Modeling video evolution for action recognition. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5378–5387, 2015.