Apple 算法大突破，用动态RGB图重建3D图

technews • 2023年11月4日 14:55 • 投稿

最近，Apple公司与加州大学圣塔芭芭拉分校的研究合作伙伴，向公众演示并详细介绍了一项开创性的算法，该算法能够从动态RGB图像中在线重建3D图像。

双方合作的研究小组克服了低纹理区域的难题，致力于解决图像重建中的固有模糊问题，他们关注那些可立即使用的实际解决方案，以便将来在智能手机等移动设备上推广应用。

该新算法以历史观测结果为基础，生成了精确的增量重建，有效解决了同步定位与地图构建（SLAM）系统的动态性问题，确保与 SLAM 的更新一致。

以前，在密集的纯 RGB 重建领域，通常没有充分考虑在线应用中相机姿态估计的动态特性，在重建过程中依然采取静态输入图片的传统表述。

在算法中，科研团队成功地引入了动态特性，并将其集成到了现有的RGB技术中。在受到 BundleFusion（一种采用线性更新算法将新视图集成到场景中的 RGB-D 技术）启发后，该团队进行了研究，对旧视图进行了了解构，然后重新整合，以提供位置数据。

Apple 和加州大学圣塔芭芭拉分校的研究合作伙伴推出了一种独特的、以深度学习为基础的非线性整合技术。旨在推动NeuralRecon等技术的在线重建，该技术的实施依赖于学习得到的非线性更新规则。

他们引入了LivePose数据集，以验证他们的方法。这一数据集具有开创性，包括了由BundleFusion生成的ScanNet完整动态姿势序列。这个数据集在评估他们的技术和促进未来研究方面扮演着至关重要的角色。

此次重要突破有望为增强现实、虚拟现实和其他需要准确的 3D 建模的领域带来新的前景。