【论文笔记】视觉重定位 GN-Net: The Gauss-Newton Loss for Multi-Weather Relocalization 2019

最新推荐文章于 2021-10-09 17:10:24 发布

原创

最新推荐文章于 2021-10-09 17:10:24 发布 · 1.2k 阅读

本文介绍了一种基于特征图的视觉定位方法，通过U-Net网络提取图像特征，优化特征图以增强定位精度和鲁棒性。网络设计考虑了跨季节、跨光照条件的图像相似性，以及高斯牛顿算法的高效匹配能力。

作者:Lukas von Stumberg, Patrick Wenzel, Qadeer Khan, Daniel Cremers

机构: 慕尼黑工业大学, Artisense

链接： https://vision.in.tum.de/gn-net

本文将定位问题分解为两个步骤：

在构建好的地图中寻找与当前图像最接近的图像
追踪其相对位姿

本文解决的问题是第二个步骤，即relocalization tracking 问题。

作者提出了一个图像特征提取网络，该网络提取的特征图可以替代直接SLAM中的图像用于定位、回环检测等，相比直接使用图像，特征图的鲁棒性更强。

该网络需要有以下的特点：

对于同一场景中的不同时间季节拍摄的图像，提取的特征图是相似的。
对于不同场景拍摄的图像其提取的特征图是不同的。
对于初始的错误匹配位置，高斯牛顿算法可以朝着小范围内的正确匹配位置更新。

网络结构：

U-Net based，网络将（w,h,c）的输入图像 $I$ 映射为（w,h,d）的特征图 $F$ 。

损失函数：

$\begin{aligned}\mathcal{L}_{\text {contrastive }}\left(\mathbf{F}_{a}, \mathbf{F}_{b}, l\right)=\mathcal{L}_{\text {pos }}\left(\mathbf{F}_{a}, \mathbf{F}_{b}, l\right)+\mathcal{L}_{\mathrm{neg}}\left(\mathbf{F}_{a}, \mathbf{F}_{b}, l\right)\end{aligned}\\\begin{aligned}\mathcal{L}_{\mathrm{pos}}\left(\mathbf{F}_{a}, \mathbf{F}_{b}, l\right)=& \frac{1}{N_{\mathrm{pos}}} \sum_{N_{\mathrm{pos}}} D_{\mathrm{feat}}^{2} \\\mathcal{L}_{\mathrm{neg}}\left(\mathbf{F}_{a}, \mathbf{F}_{b}, l\right)=& \frac{1}{N_{\mathrm{neg}}} \sum_{N_{\mathrm{neg}}} \max \left(0, M-D_{\mathrm{feat}}\right)^{2}\end{aligned}\\其中 \quad D_{\text {feat }}=\left\|\mathbf{F}_{a}^{l}\left(\mathbf{u}_{a}\right)-\mathbf{F}_{b}^{l}\left(\mathbf{u}_{b}\right)\right\|_{2}$