作者丨thinking@知乎
来源丨https://zhuanlan.zhihu.com/p/374523925
编辑丨3D视觉工坊
摘要：在本文中，我们提出了一个紧密耦合的多模式SLAM框架，集成了大量的传感器：惯性测量单元、摄像机、多激光雷达和UWB距离测量，因此被称为VIRAL(视觉惯性测距激光雷达)SLAM。为了实现这样一个全面的传感器融合系统，必须解决几个挑战，如数据同步、多线程编程、BA优化以及超宽带和机载传感器之间的冲突坐标帧，以确保实时定位和状态估计的平滑更新。
为此，我们提出采用两阶段方法。在第一阶段，在核心里程计线程中处理本地滑动窗口上的激光雷达、相机和惯性测量单元数据。从这个局部图中，新的关键帧被评估以允许进入全局图。还执行基于视觉特征的循环闭合，以用循环约束来补充全局因子图。当全局因子图满足空间分集条件时，触发BA过程，更新超宽带和星载SLAM系统之间的坐标变换。然后，系统无缝过渡到第二阶段，所有传感器紧密集成在里程计线程中。通过在高保真图形物理模拟和公共数据集上的实验，验证了我们系统的性能。
1、传感器数据处理：
（1）激光雷达：
当获得每个激光雷达点云时，立即执行特征提取以产生特征云。通过使用IMU传播的状态进一步补偿该SCFC（倾斜组合特征云）中的运动失真(偏斜)，以获得相对于身体偏斜的CFC（组合特征云）。利用特征地图匹配（FMM）来计算代价函数：
（2）IMU：
构建IMU预积分观测方程，对应Xm-1和Xm两个连续状态：
其中：
（3）UWB：
根据UWB基站之间的距离测量值，确定UWB基站的坐标 每个基站在tm-1到tm时间段对标签的观测向量可写为：
UWB测距残差为：
其中：
（4）相机：
相机提取特征、获取特征点的三维坐标后，可根据双目相机对特征点的观测构建残差：
根据算法1将相机提取的特征与3D建图进行边缘匹配
2、滑动窗口优化
处理完所有传感器数据后，我们可以将所有因素合并到以下代价函数中：
（1）选取滑动窗口中间帧为关键帧，采用KNN算法，加入任意一帧满足以下两个条件之一
将把该帧列为新的关键帧
（2）闭环：
首先，当一个新的关键帧被添加到内存中时，我们使用DBoW库将视觉特征集与数据库进行比较。如果该方法返回一个匹配，我们使用关键帧的索引来提取变换Tc和Tp，分别称为当前和先前的关键姿态。然后，我们搜索KNN，并建立一个本地地图，计算它们相应的被边缘化的组合特征云（CFC）。
之后，使用ICP来调整CFC来获取适配得分，若得分低于阈值， 意味着比较方案过程实现了高度适合的校准。
最后，构建代价函数进行优化：
构建BA优化框架——代价函数
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~ 
