Global Structure-from-Motion by Similarity Averaging读后感

目的：解决平移平均问题。

主要思路：通过为每个摄像机构建稀疏的“深度图像”来解决这两个问题，其中包含一组稀疏特征点的深度值。深度图像将基本矩阵升级为相似变换，根据深度图像可以得到两图象间的缩放，再加上本质矩阵的相对旋转和平移，就可以得到两个图像之间的旋转，平移和缩放，也就是相似变换。

系统架构：我们首先为每个摄像机构建深度图像。该步骤进一步执行深度一致性检查以排除噪声基本矩阵。在构建深度图像之后，有两个可选的EG滤波器。局部BA应用于局部星状图中的图像以改善成对相对运动并且还排除一些不良基本矩阵。在图像对之间应用“错误匹配分析”以排除由于重复场景结构而导致的异常基本矩阵。接下来，我们开始通过最新的相似性平均方法来得到所有相机在全局坐标系中的坐标。具体来说，我们首先通过旋转平均来解决全局旋转。同时，通过比例平均来解决每个深度图像的全局尺度。一旦比例和旋转固定，我们通过尺度感知平移平均来解决基线长度和摄像机位置。一旦所有摄像机都被固定位置，我们采用多视图三角测量来计算场景结构，并应用最终的BA来优化摄像机和3D点。如图所示

Sparse Depth Image Construction
对于每个EG边缘，我们通过具有相对姿势的双视图三角测量来得到两视图深度，相机间光心距离设置为1。对于任意一个相机i，我们寻找所有与i有匹配点的图像，为了提高计算效率，我们只考虑连接到i的最多80台摄像机，选择这些具有最多特征对应的摄像机。这样就找到了连接i的一个星型图，通过这个星型图计算i图特征点的深度图Di。
之后将所有成对重建放在连接到相机i的局部坐标系下的星状图中。因此，我们只需要为每个图像对（i，j）求解尺度$S_{ij}^i$，以将这些重建结合在一起。考虑一个简单情况，若三个相机i, j, k平行并且焦距一致，若规定$l_{ij}=1,l_{ik}=1$，那么由$h=fl/d$，其中h为深度，l为基线长度，d为视差，则$h_1/h_2=d_2/d_1$，而$d_2/d_1$只与真实的$l_2/l_1$有关，所以对于所有图i中既与图j有匹配点，又与图k有匹配点的点，其$h_1/h_2$只与图（i，j）间的尺度和图（i，k）间的尺度之比$S_{ij}^i/S_{ik}^i$有关，尺度就是真实基线长度（求深度时基线长度为1），可以从如下图中参考

则

这里的d是深度。：=是定义，这样就可以通过深度之比得到尺度之比，写成对数的形式是

然后就可以写成Ax=b的形式，对于每对图像（i，j），先用中值滤波器选择$d_{jk}^i$（计算图像对所有匹配点的这个值，再取中值）。b为$log(d_{jk}^i)$，x为$log(s_{ij}^i)$，而A每行只有两个非零值，1和-1。为了鲁棒性就为解如下L1最优化问题

有了i图对应星型图中其他图的所有相对尺度信息后，就可以得到在i图下的统一尺度的深度值。
之后是深度一致性检查。合并成对重建为相机i中的每个特征点提供多个深度值（不同匹配j,k产生不同深度）。 我们检查它们的一致性以识别不良EG。 具体来说，我们首先采用中值滤波器来计算每个特征点的最佳深度。 偏离超过滤波深度5％的所有深度值都被视为异常值。 我们将图像对（i，j）移除为坏EG，如果它产生少于5个内点，因为5个点确定一个基本矩阵。
之后是局部BA操作。BA应用于星形图中的所有摄像机和边缘。在局部BA之后，我们丢弃具有大的重新投影误差的特征点，我们所有的实验阈值都是16像素。 然后，如果重建特征的数量小于5，则删除图像对。
最后是“错误匹配分析”操作。对于图像对（i，j），我们将Di中的所有3D点投影到j的图像平面。如下图所示，我们将这些投影点可视化为图像帧内的绿色和红色点。注意，我们忽略可见性测试并假设j的视场（FOV）内的所有点都是可见的。绿点表示与j图匹配的点。 红点为在j中没有匹配的点。我们采用匹配特征的边界框（图中的绿色虚线框）。我们认为在这个边界框内的红点，是由于特征匹配的不完美造成的。因此，我们只考虑边界框外的红点作为真正的缺失对应关系。我们在所有红点中计算框外红点的比率以确定边（i，j）是否是异常值。具体来说，我们评估Mji = n1 / n2。这里，n1是边界框外部的红点数，n2是红点的总数。如果Mji>ǫ，我们将（i，j）视为异常值并将其删除。我们将因特网数据设置为0.2，否则设置为0.1。

Similarity Averaging
我们保持相对旋转和平移（Rij，tij）来自基本矩阵，简单地估计全图相对尺度$S_{ij}=S_{ji}^j/S_{ij}^i$，这样我们获得EG图中任何边（i，j）的局部相对相似变换（Rij，tij，Sij）。然后我们解决相似度平均问题以确定所有相机姿势。我们的相似度平均包括三个步骤：旋转平均，尺度平均和缩放已知情况下的平移平均。旋转平均已经很成熟。
然后是尺度平均。已知$s_i/s_j=S_{ij}$。写成对数形式，然后像上述一样写成Ax=b的形式，对第一幅图设定$s_1=1$，最后最小化L1范数。
最后是缩放已知情况下的平移平均。首先根据尺度信息得到基线长度信息，基线长度根据已知的两个基线长度求平均值：$b_{ij}=1/2*(s_is_{ij}^i+s_js_{ji}^j)$。这样就得到

c为真实的平移，R为旋转平均得到，t为相对单位平移方向，由本质矩阵得到。这样又可以写成Ax=b的形式，其中x就为c的信息。还是根据尺度因素把c1设定为0。