点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
添加微信：CVer2233，助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪必备！
转载自：机器之心
是否还在担心大规模场景训练和压缩耗时太长、显存开销太大？是否还在苦恼重建出的建筑物和道路表面破碎不堪？是否还在困扰如何定量衡量大规模场景几何重建的精确程度？
来自中科院自动化所的研究团队提出了用于大规模复杂三维场景的高效重建算法 CityGaussianV2，能够在快速实现训练和压缩的同时，得到精准的几何结构与逼真的实时渲染体验。该论文已接受于 ICLR`2025，其代码也已同步开源。
论文题目：CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes
项目主页: https://dekuliutesla.github.io/CityGaussianV2
论文链接: https://arxiv.org/pdf/2411.00771
代码链接 (600+⭐): https://github.com/DekuLiuTesla/CityGaussian
研究背景
三维场景重建旨在基于围绕目标场景拍摄的一组图像恢复出场景的三维结构，其核心追求是精准的几何结构以及逼真的图像渲染。随着近两年的发展，3D Gaussian Splatting（3DGS）因其训练和渲染效率上的优势逐渐成为该领域的主流算法。这一技术使用一组离散的高斯椭球来表示场景，并使用高度优化的光栅器进行渲染。然而，这一离散且无序的表征形式通常难以很好地拟合物体表面的实际分布，导致重建出的场景几何结构并不精准。近来包括 SuGaR、2DGS、GOF 在内的一系列杰出工作针对这一问题进行了探索，并给出了有效的解决方案。
几何重建质量可视化比较
尽管这些技术在单一目标或小场景上取得了巨大的成功，但它们应用于复杂的大规模场景却往往面临比 3DGS 更加严峻的挑战。上图展现了不同算法在大规模场景下的几何重建效果。SuGaR 的模型容量有限，难以还原精细的几何结构；GOF 受到严重的模糊鬼影的干扰，许多视角下画面被鬼影完全遮挡，以至于监督失效，重建结果面对显著的欠拟合；2DGS 受到模糊鬼影的影响较弱，但也妨碍了其收敛效果，并且退化现象容易诱发高斯基元的过度增长，进而引起显存爆炸，训练难以为继。
此外，大规模场景下长期以来缺少几何重建质量的有效评估手段，已有的工作或只进行了可视化定性比较，或忽视了欠观测区域不稳定的重建效果对指标产生的干扰。大规模场景的重建往往还意味着显著的训练开销，要重建 1.97 平方千米的区域会产生接近两千万的高斯点，这意味着 4.6G 的存储以及 31.5G 的显存开销，以及超过三小时的训练时长。如果要进一步完成压缩，通常还需要额外将近一个小时的时间。
针对这三方面的技术挑战，本文提出了 CityGaussianV2。该算法继承了 CityGaussian 的子模型划分与数据分配方案，并使用 2DGS 作为基元来重建。在此基础上，CityGaussianV2 引入了基于延展率过滤和梯度解耦的稠密化技术，以及深度回归监督，同时合并了训练和压缩过程，得到了端到端的高效。训练管线，不仅有效加速算法收敛，同时保障了稳定、快速、低显存开销的并行训练。
CityGaussianV2 方法介绍
1. 场景重建基础
3DGS 使用一组高斯分布表征的椭球对场景进行表征，每个高斯球同时绑定包括不透明度、颜色以及高阶球谐系数等用于 alpha blending 渲染的属性，并通过包含 L1 损失和 SSIM 损失的加权和对渲染质量进行监督。在训练过程中，算法还会根据每个高斯基元的梯度信息进行自适应地分裂和克隆，使得重建效果不佳的区域能够自动被更合适的基元填充。2DGS 旨在增强几何重建精度，并将椭球降维为椭圆面片作为基元表征场景，同时对渲染出的深度和法向量分布施加监督，保证重建表面的平整性。
CityGaussian 旨在将 3DGS 泛化到大场景，首先预训练一个表征全局场景的粗粒度的 3DGS 场，随后将预训练结果划分为一系列子模型，并根据子模型对训练视图渲染的贡献程度为每个子模型分配训练数据。每个子模型随后会用不同的 GPU 并行微调，并在训练结束后进行合并和压缩，得到场景的最终表征。
2. CityGaussianV2 的优化算法
高斯基元优化算法示意图
现有表面重建方案在泛化到大场景时往往展现出收敛迟缓、训练不稳定等问题，导致并行训练失败，难以取得良好的重建效果。我们的算法以泛化能力最好的 2DGS 为基元，在引入 Depth-Anything-V2 的伪深度监督提供几何先验的基础上，进一步提出了新的高斯基元稠密化方案。我们观察到，在复杂大规模场景上，2DGS 在早期训练阶段比 3DGS 受到更严重的模糊伪影的干扰，导致在迭代次数有限的情况下性能显著劣于 3DGS。为了缓解这一问题，我们引入梯度解耦策略，利用对图像结构差异更为敏感的 SSIM 损失作为稠密化的主要梯度来源：
此处 ω 用于控制梯度的尺度；另外在大规模场景下用 2DGS 进行重建的障碍在于其退化现象。实验证据表明，当从远距离或侧面视角渲染时，部分面片可能会退化成线或点，尤其是那些延展率比较高的面片。对于那些具有高不透明度的投影点，它们的移动往往意味着像素值的剧烈变化，从而使得它们获得较高的梯度，并在稠密化过程中大量增殖，导致基元数量指数级增长，最终导致显存爆炸问题。为了解决这一问题，在稠密化过程中，我们对容易引起退化和梯度集中的具有极端延展率的高斯面片进行了筛选，并对其增殖过程进行了限制，从而在不牺牲性能的情况下有效稳定了训练过程，保障了优化过程的顺利进行。
3.CityGaussianV2 的并行训练管线
CityGaussianV2 训练管线，虚线框为摒弃的算法流程
CityGaussianV2 在 V1 的基础上进一步优化了并行训练管线，使得训练和压缩过程得到统一，删除了冗余的后处理流程。具体而言，算法在子模型的并行训练过程中周期性地遍历训练视角集合 V_m 并计算每个高斯基元的重要性分数：
其中 P_k 为第 k 张训练视图的像素几何，α_n 为第 n 个基元的不透明度。以此为基础，重要性低于一定百分比阈值的基元会被删除，从而降低显存和存储的开销，使得训练对于低端设备更友好，也显著加速了模型总体的收敛速度。
4.大规模重建几何评估协议
大规模场景几何精度评估流程
CityGaussianV2 填补了大规模场景下几何评测协议长期以来的空白，在 Tanks and Temple (TnT) 数据集的启发下，基于点云的目击频次统计设计了针对大规模场景欠观测区域的边界估计方案。具体而言，点云真值会首先被初始化为 3DGS，在遍历所有训练视图的同时记录每个点的观测频次，观测频次低于阈值的点将被滤除；剩余的点将用于估计垂直方向的高度分布范围，以及地平面内的多边形外接轮廓，二者构成的 Crop Volume 进一步用于 TnT 形式的指标计算。这一方案有效规避了欠观测区域重建效果不稳定带来的指标波动，使得大规模复杂场景的几何性能评估更为客观公正。
实验与分析
与主流算法的性能对比
几何重建质量可视化比较
在实验中，相比于已有算法，CityGaussianV2 在几何精度（精度 P，召回率 R，综合指标 F1-Score）方面达到了最佳的性能表现。从可视化结果中也可以看到，CityGaussianV2 的重建结果具有更准确的细节，完整性也更高。而渲染质量方面，CityGaussianV2 则达到了和 V1 相媲美的程度，能够带来逼真的浏览体验。此外，CityGaussianV2 还能较好地泛化到街道景观，并且在渲染质量和几何精度上都取得良好的性能结果。
渲染质量可视化比较
街拍场景可视化比较
高斯基元数量相近情况下的重建性能及训练开销比较
在训练开销方面，CityGaussianV2 克服了 2DGS 泛化到大规模复杂场景下的种种挑战，不仅有效规避显存爆炸问题，而且实现了相对于 V1 显著的显存优化，同时在训练用时和几何质量方面大幅领先。针对 2DGS 的量化压缩策略也使得大规模场景的重建结果能够以 400M 左右的开销存储下来。
总结
本工作致力于大规模复杂场景的高效精准重建，并建立了大规模场景下的几何精度评估基准。所提出的 CityGaussianV2 以 2DGS 为基元，消除了其收敛速度和扩展能力方面的问题，并实现了高效的并行训练和压缩，从而大大降低了模型的训练成本。在多个具有挑战性的数据集上的实验结果证明了所提出方法的效率、有效性和鲁棒性。
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
1051
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
