【论文学习】《Fully-Convolutional Siamese Networks for Object Tracking》2016年SiamFC 全卷积孪生网络用于目标跟踪

关注

VIP免费原创 2025-04-03 15:44:29 2.4k 阅读 AI 写同款· GEO 优化 ›

Fully-Convolutional Siamese Networks for Object Tracking 摘要任意目标追踪通常通过从训练视频中在线学习出一个目标的外观模型来解决。DNN能有效提升模型的丰富度，但却需要在线SGD调整网络参数，限制了速度。本文提出一种基于全卷积孪生网络的基本追踪算法模型，能够已超实时的帧率达到目前最高的精度。关键字：object-tracking, Siamese-network, similiarity-learing, deep-learning 阅读详情

《Full Convolutional Siamese Networks for Object Tracking》简称“SiamFC”，目标跟踪孪生网络出自2016年，Siam成为之后在目标跟踪任务的一个类别。2018年商汤在VOT比赛中使用SiamRPN获得了第一。

论文地址：ECCV2016版、arXiv版

概要：

论文出自2016年，在此之前，还没有实时的基于孪生网络的目标跟踪方法，存在的孪生实例搜索跟踪器（SINT）方法使用了复杂计算的候选框定位目标。SiamFC的创新则与2015年出现的FCN类似，直接对图像进行全卷积让网络输出分值MAP，得到目标所在区域。然而，不同之处是孪生网络中，是对输入样例和搜图图进行卷积操作后，以输入样例的特征图作为卷积核，再对搜索图像的特征图进行卷积，最后得到目标位置分值图。注意的是，目标的检测是在多尺度下进行的，得到的目标也只有个中心位置，不知道边界，因此存在1、计算量稍大（比这之前方法的速度是大大提升的）2、边界框不准确，的可观问题。从而后续有SiamFPN的改进。

【一、翻译部分】

摘要：任意物体追踪问题传统上是通过在线学习物体外观模型来解决的，使用视频本身作为唯一的训练数据。尽管这些方法取得了成功，但它们的在线方式本质上限制了它们可以学习的模型的丰富性。最近，人们尝试过多次利用深度卷积网络的表达能力。然而，当事先不知道要跟踪的对象时，就需要在线执行随机梯度下降来调整网络的权重，这严重影响了系统的速度。在本文中，我们为基本跟踪算法配备了一种新颖的全卷积孪生网络，该网络在 ILSVRC15 数据集上进行端到端训练，用于视频中的对象检测。我们的追踪器以超越实时的帧速率运行，尽管极其简单，但在多个基准测试中实现了最先进的性能。

关键词：目标跟踪；孪生网络；相似性学习；深度学习

1 引言

我们考虑到在视频中跟踪任意对象的问题中，对象仅在第一帧画面的矩形框中被标识。由于算法可能被要求跟踪任意物体，因此不可能事先收集了数据（矩形框中的对象数据）并训练了特定的检测器。

多年来，这种场景最成功的范例是使用从视频本身中提取的示例（参照样本），以在线方式学习物体外观的模型。这在很大程度上归功于TLD，Struck和KCF等方法的能力。然而，仅使用来自当前视频的数据的明显缺陷是只能学习相对简单的模型。尽管计算机视觉中的其他问题已越来越广泛地采用由大型监督数据集训练的深度卷积网络 (简称“conv-nets”)，但监督数据的稀缺性和实时操作的限制阻碍了深度学习在这种为每个视频学习一个检测器的范式中的简单应用。

最近有几项研究旨在使用针对不同但相关的任务学习的预训练深度卷积网络来克服这一限制。这些方法要么应用“浅层”方法（例如相关滤波器），使用网络的内部表示作为特征，要么执行 SGD（随机梯度下降）来微调网络的多个层。虽然使用浅层方法没有充分利用端到端学习的优势，但在跟踪过程中应用 SGD 来实现了最佳结果的方法，但却无法实时运行。

我们提倡一种替代方法，即在初始离线阶段训练深度卷积网络来解决更一般的相似性学习问题，然后在跟踪期间简单地在线评估该函数。本文的主要贡献是证明这种方法在现代跟踪基准中以远远超过帧速率要求的速度实现了非常有竞争力的性能。具体来说，我们训练了一个孪生网络来在更大的搜索图像中定位示例图像。另一个贡献是一种新颖的孪生架构，它对于搜索图像是完全卷积的：使用双线性层计算其两个输入的互相关来实现密集而高效的滑动窗口评估。

我们认为相似性学习方法相对被忽视了，因为跟踪社区没有大量带标签的数据集。事实上，直到最近，可用的数据集才只包含几百个带注释的视频。然而，我们认为，用于视频中物体检测的 ILSVRC 数据集（下称 ImageNet Video）的出现使得训练这样的模型成为可能。此外，使用来自同一领域的视频来训练和测试用于跟踪的深度模型的公平性是一个争议点，因为 VOT 委员会最近禁止这样做。我们表明，我们的模型从 ImageNet Video 领域推广到 ALOV/OTB/VOT领域，使得跟踪基准的视频可以保留用于测试目的。

2 深度相似性学习用于跟踪

可以使用相似性学习来学习跟踪任意对象。我们建议学习一个函数 f (z, x)，该函数将样本图像 z 与相同大小的候选图像 x 进行比较，如果两幅图像描绘的是同一对象，则返回高分，否则返回低分。为了在新图像中找到对象的位置，我们可以穷举所有可能的位置，并选择与对象过去外观最相似的候选位置。在实验中，我们将简单地使用对象的初始外观作为样本。函数 f 将从带有标记对象轨迹的视频数据集中学习。

鉴于其在计算机视觉领域的广泛成功，我们将使用深度卷积网络作为函数 f。深度卷积网络的相似性学习通常使用孪生架构来解决。孪生网络对两个输入应用相同的变换 φ，然后根据 f (z, x)=g(φ(z),φ(x)) 使用另一个函数 g 组合它们的表示。当函数 g 是简单的距离或相似性度量时，函数 φ 可以被视为嵌入。深度孪生卷积网络以前曾应用于人脸验证、关键点描述符学习和一次性字符识别等任务。