【论文笔记】视觉重定位 场景坐标回归 DSAC++ 2018

Learning Less is More – 6D Camera Localization via 3D Surface Regression

作者: Eric Brachmann and Carsten Rother

机构:海德堡大学 视觉学习实验室

本文基于DSAC模型，提出了DSAC++ , 证明了相比于 学习 相机定位 pipeline 的所有组件，只学习其中的一种会更加高效。

DSAC++就是这样一个 将可学习的组件结合到定位 pipeline 中，组成的端到端学习系统。

DSAC有三个问题：

1. 对位姿假说进行评分的ＣＮＮ模块很容易过拟合。因为它可以记住全局的共识模式，以区分优劣假说。 例如，CNN可能会专注于图像中出现误差的位置，而不是去学习评估误差的质量。然而出现误差的位置不能在不同场景之间是不同的，因而不能够被泛化。
2. 初始化pipeline需要RGBD训练数据，或者是3D模型。这些数据较难获取。
3. DSAC中姿态细化通过有限查分得到，不稳定的数值会导致非常大的梯度方差。

针对以上问题，DSAC++ 使用了soft inliner count 取代原来的评分CNN， 对位姿假设进行评分。防止了过拟合问题。为了解决评分数值不稳定导致的大梯度方差，DSAC++ 使用香农熵对概率分布进行监督使得模型参数能够适应概率分布。

此外，本文还探索了模型在不适用3D模型下的性能，实验证明，DSAC++在不依赖３D模型的情况下依然可以精确估计相机位姿。

本文基于ＤＳＡＣ，因此首先介绍下ＤＳＡＣ.

DSAC 的pipeline步骤:

• 场景坐标回归：

  首先有一个ＣＮＮ来预测每个像素ｉ对应的３维场景坐标$y_i(w)$，其中ｗ为模型的参数

• 位姿假设采样：

  任选４个$y_i(w)$就可以生成一个位姿假设。多次采样，生成位姿假设集合$h(w)$

• 选择最优位姿假设：

  评分函数$s(h)$根据每个位姿假设$h_j(w)$对应的概率分布$P(j;w;\alpha )$对每个位姿假设进行评分，选择最可能的位姿假设。其中参数$\alpha$控制概率分布的宽度。
  $$\begin{gathered} 首先计算重投影误差：r_i(h,w)=||C{h}^{-1}{y}_i(w)-p_i||,p_i是像素i的坐标，C为相机内参矩阵。 \\ 计算重投影误差的softmax：P(j;w,\alpha )={\sum }_{k}exp \end{gathered}$$