MapNet: An Allocentric Spatial Memory for Mapping Environments 2018 论文笔记

牛津大学，CVPR-2018，建图

1.论文摘要

论文设计了一个可导、端到端的建图模块，能够将传感器感受到的、相机中心视角的环境信息转化为世界坐标系下的表示，即建图。得到的地图是环境的2.5D表示，存储了深度神经网络模块从RGBD输入中提取的信息。该地图与SFM方法得到的结果不同，包含能够支持多种任务的信息。

2.简介 && 相关工作

深度学习在以图像为中心的任务中取得了 巨大的成就（分割、检测、分类），但是在图像理解上仍然有待深入研究，其中之一就是对3D空间和几何结构的推理。传统SLAM使用基于原始信息（点云、图像patches）的增量式建图方法，虽然works well ,但是不能提供自然的可学习的特征表达。这种高纬的特征是十分有用的，比如人无论在大小尺度的环境中都可以有效的进行导航，即使没有传统slam那样的精确重建地图。

本文提出了一种可以用于深度学习方法的3D环境的分布式表达，即建图模块。RNN网络负责使用该表达来编解码摄像头看到的真实环境。

建图模块的实现： dynamic spatial memory （动态空间记忆），根据相机的观测可以进行增量更新。使得RNN可以记忆已经到达过的场景，并对相机位姿进行重定位。

论文贡献：

1. 设计的模型将自我中心和异地中心的信息考虑在内。（待理解）

   这里自中心与异中心的差别在于坐标系的选择，异地中心指以世界坐标系为中心，自中心指相机中心

2. 解决了如何确定将何种信息存储到地图中的问题

3.论文方法

提出了一个可以根据相机数据动态构建环境表达的RNN，其核心组件是一个 allocentric spatial memory module（异地记忆模块）