点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨晃晃悠悠纵马江湖@知乎
来源丨https://zhuanlan.zhihu.com/p/418903322
编辑丨3D视觉工坊
在传感器融合的基础上加入了灭点。 《Vanishing Point Aided LiDAR-Visual-Inertial Estimator》(ICRA2021)
Motivation
这篇文章的动机主要从VIO出发，VIO受制于尺度漂移和旋转漂移 问题，针对旋转漂移问题，作者采用了加入消失点检测的方法来解决，针对尺度漂移问题，就是通过建立体素格级别的深度图来解决.
Contribution
1.提出了第一种消失点辅助激光雷达视觉惯性估计器，它利用激光深度和消失点信息在视觉和几何退化环境中实现鲁棒姿态估计
2.提出了一种新的基于体素图的特征深度关联模块，可以有效地将深度信息分配给视觉特征
3.提出了一种新颖的消失点检测流程，该流程能够可靠、高效地检测出消失点
Content
1.系统框图 如下图，主要分成三步处理流程，先是IMU辅助下的灭点检测，然后进行特征深度关联，最后进行VIO，VIO主要优化重投影误差，IMU预积分误差和灭点约束误差。
2. IMU辅助的灭点检测
先是通过稀疏光流法和角点检测来跟踪特征，然后用LSD找到线段(记录端点长度和角度)，因为水平线段检测的精度很大程度上和相机的旋转相关，并且如果水平线检测不准确，那么灭点生成就很差，基于这个出发点，采用基于重力的垂直线检测来优化IMU旋转。具体过程如下图:首先根据相机方向，在每个线段的重点得到二维投影向量Z, 然后根据线段和它的投影向量的角度对线段进行分类，角度小于一定的阈值视为垂直，在理想情况下，这些垂直线段会穿过灭点在Z轴的投影，根据这个进行进一步的优化，最终的灭点的z轴上的单位向量可以表示为:
然后根据下面的公式获得光流的旋转角度:
并且水平线可以表示为:
在计算出水平线后，可以得出在X和Y方向上的灭点假设，使用1-line RANSAC来选择地平线，然后将其与水平线相交得出灭点在X的假设:
最终的基于灭点的代价函数可以表示如下:
3. 基于体素格的特征深度关联
通用的激光赋值视觉特征深度流程
4. VIO 同时优化IMU预积分，Vo重投影，VP残差。
5. 实验
Conclusion
这篇论文虽然名称是基于灭点的VIL融合，但是灭点并没有和激光有互动，有互动的是通过IMU给了一个更好的旋转来生成灭点假设，激光的融合还是深度图，尺度变成体素格加快了匹配，从结果来看，比之前的DEMO之类的确实有提升，但是估计是比不过VLOAM或者LVI-SAM的。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
1.面向自动驾驶领域的多传感器数据融合技术 2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 3.国内首个面向工业级实战的点云处理课程 4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
干货领取：
1. 在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
2. 在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
3. 在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、orb-slam3知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~ 
