作者丨方川@知乎
来源丨https://zhuanlan.zhihu.com/p/378375542
编辑丨3D视觉工坊
标题：R2LIVE: A Robust, Rea-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping.
作者：Jiarong Lin, Chunran Zheng, Wei Xu, and Fu Zhang
来源：arXiv:2102.12400v1
摘要：本文提出一个鲁棒实时的多传感器紧耦合框架，可以融合激光雷达、惯导器件和相机的数据完成精确的状态估计。本文提出的框架由基于滤波方法的里程计模块和基于因子图的优化模块组成。为了保证实时性，我们只估计Kalman滤波器中的当前帧状态，然后在因子图优化环节进一步提高滑动窗口中的所有传感器位姿。得益于多模态传感器数据，我们的算法可以应对视觉退化、激光退化的场景，并且可以在端上计算平台实时运行。在我们采集的大量室内外数据上验证后，证明我们的框架得到的结果相对于其他sota的激光-惯导里程计、视觉-惯导里程计方法提高了精度。
主要贡献：
·我们以紧耦合的方式融合了激光雷达、惯导、视觉的数据，实验证明我们的方法可以鲁邦处理包括剧烈运动、传感器退化、甚至是有很多移动物体的隧道场景，包括激光雷达只有很小FoV的场景。
·我们提出的框架包括一个高频运行的基于滤波方法的里程计模块，和一个低频运行的基于因子图的优化模块。里程计模块以一个kalman滤波器迭代融合雷达、惯导、视觉传感器，取得了实时的状态估计。因子图优化模块进一步优化滑窗内的各传感器位姿和视觉地图点位置。
·基于这种多模态传感器紧耦合的方式，我们的方法得到的很高精度的位姿。大量实验证明我们的方法是可以构建大规模室内外建筑的稠密点云地图的。
算法流程： 整体框架：
算法步骤
本文选取IMU坐标系为body系，并假设LiDAR,IMU, Camera之间的外参和时间偏移都已知，但为了支持camera-imu外参在线标定. 令第帧IMU数据的状态向量为:
通过流形在幺元处的向量空间的"加减"运算我们可以得到离散化的状态向量更新方程：
综上，基于IMU数据的状态更新由状态向量的更新和状态误差向量的更新组成：
LiDAR数据的融合，使用的是plane-plane的误差来构造LiDAR的参差模块：
对于Camera数据，理论上与LiDAR数据相同：
接下里就是常见的kalman滤波器的更新过程：状态更新、增益更新、协方差更新，只是现在的更新过程中融入了LiDAR/Camera数据。
因子图优化基于因子图的优化模块会去优化滑动窗口中的LiDAR 位姿、Camera位姿，以及视觉特征三角化出来的稀疏地图点：
实验结果：
我们使用自己搭建的手持式设备采集了各种剧烈运动、传感器退化、存在大量移动物体的长隧道场景，以及较大规模的室内外建筑物场景的数据。在鲁棒性、轨迹精度、建图精度几个方面与VINS-Mono, Fast-lio对比，都取得了较好的结果，证明了本文提出方法可以取得高精度、低漂移的里程计和建图结果。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~ 
