港大重磅SLAM新作！R3LIVE++：一个实时鲁棒的紧耦合 ...

计算机视觉life”，选择“星标”

快速获得最新干货

文章转载自动驾驶之心

论文链接：https://arxiv.org/pdf/2209.03666.pdf

论文代码：https://github.com/hku-mars/r3live

摘要

本文提出了一种名为 R3LIVE++ 的 LiDAR 惯性视觉融合框架，以实现稳健且准确的状态估计，同时实时重建辐射图。R3LIVE++ 由实时运行的 LiDAR 惯性里程计 (LIO) 和视觉惯性里程计 (VIO) 组成。LIO 子系统利用来自 LiDAR 的测量来重建几何结构，而 VIO 子系统同时从输入图像中恢复几何结构的辐射信息。R3LIVE++基于R3LIVE，通过结合相机光度校准和相机曝光时间的在线估计，进一步提高了定位和建图的准确性。论文在公开和私有数据集上展开了充分的实验，并同其他SOTA的SLAM 系统进行比较。定量和定性的结果表明，R3LIVE++ 在准确性和鲁棒性方面都有很大的优势。此外，为了展示R3LIVE++ 的可扩展性，论文基于R3LIVE++得到的重建地图开发了若干应用程序，例如高动态范围 (HDR) 成像、虚拟环境探索和 3D 视频游戏。

在SLAM中融合LiDAR和相机测量，可以克服各个传感器在定位中的退化问题，并生成满足各种地图应用需求的精确、纹理化和高分辨率3D地图。基于此，论文提出的R3LIVE++有以下特点：

• R3LIVE++是一个激光雷达惯性视觉融合框架，紧密耦合了两个子系统：LIO和VIO子系统。这两个子系统联合增量地实时构建周围环境的3D辐射图。特别是，LIO通过将LiDAR中的新点云配准到地图中来重建几何结构，而VIO则通过将图像中的像素颜色渲染到地图中的点来恢复辐射信息；

  
  

• R3LIVE++提出一个新颖的VIO设计，通过最小化辐射图中的点与当前图像中稀疏像素集合间的辐射度差异来跟踪相机姿态（并估计其他系统状态）。frame-to-map的对齐有效地降低了里程计的漂移，而单个像素稀疏集合上的直接光度误差有效地限制了计算负载。此外，基于光度误差，VIO能够在线估计相机曝光时间，从而能够恢复环境的真实辐射信息；

  
  

• 在定位精度、鲁棒性和辐射图重建精度方面，论文的方法在真实世界的实验中得到了广泛验证。来自开放数据集（NCLT数据集）的25个序列的基准测试结果表明，相比之下，R3LIVE++在所有其他最先进的SLAM系统（如LVI-SAM、LIO-SAM、FAST-LIO2等）中实现了新SOTA。此外，论文在私有数据集的评估表明，R3LIVE++对于激光雷达或相机测量退化的极端挑战场景（例如，当设备面对无纹理的墙时）具有更好的鲁棒性。最后，与其他同类产品相比，R3LIVE++可以更准确地估计相机的曝光时间，并重建环境的真实辐射信息，与图像中的测量像素相比，误差要小得多；

  
  

• 据论文称，这是第一个辐射图重建框架，它可以在配备标准CPU的PC上实现实时性能，而无需任何硬件或GPU加速。基于进一步开发的一套网格重建和纹理处理离线应用程序，该系统在各种现实应用中显示出巨大潜力，例如3D HDR成像、物理模拟和视频游戏。