作者 | 智驾机器人前线
点击下方卡片，关注“3D视觉之心”公众号
>>点击进入→3D视觉之心技术交流群
导读
本文介绍了一种名为 DEIO（Deep Event Inertial Odometry）的新型单目深度事件惯性里程计框架。该方法创新性地将深度学习与传统非线性图优化相结合，通过可训练的事件束调整（e-DBA）与惯性测量单元（IMU）的预积分紧密耦合，实现6自由度位姿估计的高精度和鲁棒性。DEIO在多个公开数据集上的实验表明，其性能在低纹理、高动态范围和复杂场景中明显优于现有的基于图像或事件的主流方法，为事件相机在机器人导航和SLAM中的应用提供了新路径。
论文信息
标题：DEIO: Deep Event Inertial Odometry 作者：Weipeng Guan∗, Fuling Lin∗, Peiyu Chen, Peng Lu (*Equal contribution) 论文链接：https://arxiv.org/pdf/2411.03928 项目地址：https://github.com/arclab-hku/DEIO
动机(Motivation)
本文的动机源于现有视觉同时定位与建图（SLAM）系统在恶劣条件下（如运动模糊、低光照和高动态范围环境）可靠性和精确性不足的问题。传统基于图像的SLAM方法（如RGB或RGB-D相机）容易受到动态光照变化和运动模糊的影响，而事件相机凭借其高时间分辨率、高动态范围和无运动模糊的特性，在极端环境中展现出巨大的潜力。然而，事件相机产生的稀疏、非规则和异步数据，以及在某些场景（如平行边缘运动或静态场景）中的信息缺失，限制了其独立应用的鲁棒性。
为克服这些挑战，近年来研究者尝试将事件相机与其他传感器（如IMU、深度传感器等）融合，但现有方法仍存在硬件成本高、标定复杂性高等问题。此外，基于学习的事件SLAM方法尽管展现了出色的泛化能力，但仍在低纹理环境和尺度模糊问题上表现不佳。本文的动机是通过整合深度学习和传统优化方法，结合事件相机和IMU数据，开发出一种高鲁棒性、低漂移且适用于大规模、复杂场景的里程计框架。
创新点
![]()
系统pipeline 学习与传统优化的融合：
提出了第一个学习与传统非线性图优化紧密结合的单目事件惯性里程计（DEIO）框架。通过引入可训练的事件束调整（e-DBA）与IMU预积分的整合，显著提升了位姿估计的精度和鲁棒性。
可训练的事件束调整（e-DBA）：
设计了基于神经网络的事件束调整方法，通过事件流中连续帧的光流预测替代传统的手工设计特征（如事件角点跟踪）。这一创新实现了事件数据的高效表征和优化。
单目事件-惯性融合：
DEIO是第一个将基于学习的事件SLAM方法与IMU融合的单目里程计框架。尽管仅在合成数据上训练，其在多个真实世界数据集上的性能显著优于20多种主流方法。
滑窗图优化的应用：
引入基于关键帧的滑窗优化，将e-DBA生成的几何信息（包括Hessian矩阵和不确定性）与IMU数据在一个协同的因子图中进行优化，实现了高效的事件-惯性联合调整。
高泛化能力：
尽管在合成事件数据集上训练，DEIO展现了出色的真实世界场景泛化能力，且在结合真实数据微调后，性能进一步提升。
开放数据与代码：提供了代码和预处理的事件数据，促进了基于学习的事件位姿跟踪研究的发展。
学习与传统优化的融合：
提出了第一个学习与传统非线性图优化紧密结合的单目事件惯性里程计（DEIO）框架。通过引入可训练的事件束调整（e-DBA）与IMU预积分的整合，显著提升了位姿估计的精度和鲁棒性。
可训练的事件束调整（e-DBA）：
设计了基于神经网络的事件束调整方法，通过事件流中连续帧的光流预测替代传统的手工设计特征（如事件角点跟踪）。这一创新实现了事件数据的高效表征和优化。
单目事件-惯性融合：
DEIO是第一个将基于学习的事件SLAM方法与IMU融合的单目里程计框架。尽管仅在合成数据上训练，其在多个真实世界数据集上的性能显著优于20多种主流方法。
滑窗图优化的应用：
引入基于关键帧的滑窗优化，将e-DBA生成的几何信息（包括Hessian矩阵和不确定性）与IMU数据在一个协同的因子图中进行优化，实现了高效的事件-惯性联合调整。
高泛化能力：
尽管在合成事件数据集上训练，DEIO展现了出色的真实世界场景泛化能力，且在结合真实数据微调后，性能进一步提升。
开放数据与代码：提供了代码和预处理的事件数据，促进了基于学习的事件位姿跟踪研究的发展。
本文核心算法
本文的核心算法是DEIO（Deep Event Inertial Odometry），一种将事件相机和IMU数据紧密结合的单目里程计系统，通过深度学习与传统优化的协同工作，实现高精度的位姿估计。算法核心分为以下几个部分：
1. 总体框架DEIO分为前端和后端：
前端通过深度学习预测事件数据的光流信息，提取稀疏的关键事件块。 后端利用图优化技术将事件数据的几何信息与IMU的运动约束结合，通过滑窗因子图优化关键帧的位姿和深度。
2. 事件光流预测
输入为事件数据流，将其划分为时间体素网格。 使用深度神经网络提取局部特征，捕获事件块之间的运动关系。 通过递归网络处理事件的不规则性，生成稀疏的光流和置信度信息，用于后续优化。
3. 可微事件束调整（e-DBA）
从事件光流中提取事件块，将其重新投影到不同帧中，计算投影误差。 使用深度学习生成的光流置信度，逐步优化事件块的深度和相机位姿。 优化过程中充分利用事件数据的稀疏性，通过高效计算提高速度和精度。
4. 事件与IMU的联合优化
构建一个滑窗因子图，其中包含事件和IMU的约束关系。 事件数据提供精确的几何约束，IMU数据提供运动连续性和尺度信息。 在因子图中综合优化事件光流、IMU测量和历史信息，更新关键帧的位姿和深度。 使用关键帧管理策略，仅保留最近和最相关的关键帧，以减少计算负担。
5. 滑窗管理和优化
滑窗机制确保系统只处理固定数量的关键帧。 新关键帧加入时，旧帧会被边缘化处理，其信息被整合到全局优化中。 滑窗内的优化迭代结合了事件数据和IMU数据，通过事件带来的几何精度和IMU带来的运动连续性，共同提升系统性能。
6. 系统工作流程
初始化：使用事件数据生成初始位姿，并结合IMU数据确定尺度和方向。 事件处理：提取稀疏事件块，预测光流和深度。 联合优化：整合事件与IMU信息，优化位姿和深度。 实时输出：滑窗优化后，输出最新关键帧的6自由度位姿。
实验仿真结果
更多对比实验结果，可以阅读原文。
总结
本文提出了一种名为DEIO的学习驱动的事件-惯性里程计（Deep Event Inertial Odometry），它通过在滑动窗口图优化中紧密集成深度事件束调整（e-DBA）和IMU信息，实现了高精度和高鲁棒性的位姿估计。实验表明，DEIO在九个具有挑战性的事件相机数据集上的表现明显优于基于图像和基于事件的主流方法。本文的研究表明，将学习与优化相结合的框架在SLAM（同时定位与建图）领域具有非常大的发展潜力。此外，通过提供公开的代码和预处理的事件数据，我们旨在推动基于学习的事件位姿跟踪的研究发展。
扫码添加小助理进群
3D视觉之心知识星球主打3D感知全技术栈学习，星球内部形成了视觉/激光/多传感器融合SLAM、传感器标定、点云处理与重建、视觉三维重建、NeRF与Gaussian Splatting、结构光、工业视觉、高精地图等近15个全栈学习路线，每天分享干货、代码与论文，星球内嘉宾日常答疑解惑，交流工作与职场问题。
