点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
文章：OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems
作者：Changhee Won, Hochang Seok , Zhaopeng Cui , Marc Pollefeys , and Jongwoo Lim
翻译：分享者
●论文摘要
本文提出了多鱼眼相机的定位和稠密SLAM系统，该系统使用超大视角（FOV）鱼眼相机，可以360°覆盖环境的立体环境。为了更实用、更精确的重建，首先引入改进的、轻量的深度神经网络来进行全方位深度估计，它比现有的网络更快、更精确。其次，将鱼眼相机深度估计整合到视觉里程表（VO）中，并添加一个循环闭合模块以实现地图全局一致性。利用估计的深度图，我们将关键点重新投影到另一个视图上，从而得到一个更好、更有效的特征匹配过程。最后，我们将鱼眼相机深度图和估计的姿态融合到TSDF中，得到三维地图。评估了方法在具有真值和数据集上的性能，大量的实验表明，该系统在合成和真实环境中都能产生良好的重建效果。
上图：输入具有挑战性的室内环境的示例图像。下图：一栋复式建筑的稠密重建图，带有估计的轨迹。轨迹的颜色代表高度值。
● 相关工作与介绍
主要贡献总结如下：
（i） 提出了一种轻量化和改进的网络鱼眼相机的深度估计。网络的精度、参数个数、运行时间等都比以前的版本有了很大的提高，使本系统更加实用。
（ii）通过将深度图集成到ROVO（鲁棒的视觉里程计）中，并增加回环闭合模块，构建了一个鲁棒的全向视觉SLAM系统。在具有挑战性的室内和大型室外环境中，估算的轨迹精度比以前的版本有所提高。
（iii）提出了一个完整的全方位定位和稠密地图系统，并在合成环境和真实的室内外环境中进行了大量的实验，结果表明我们的系统能够为各种场景生成重建良好的三维稠密地图
系统的流程图。首先使用给定的鱼眼图像估计深度图和位姿。如果可用，深度图将集成到视觉里程计中。将输出深度图和位姿融合到TSDF中，以构建3D地图。在后处理过程中，利用回环模块修正后的姿态建立全局一致的地图。
● 内容精华
A、 全深度估计
采用端到端网络OmniMVS，并在此基础上提出了Light-weighted OmniMVS。
B、视觉SLAM
定位也是三维稠密SLAM的重要组成部分，根据提出的ROVO[14]对全向立体鱼眼相机系统的姿态进行了稳健估计。在文章中，ROVO有四个步骤：鱼眼相机的投影、跟踪和匹配、姿态估计和联合优化。首先，将输入的鱼眼图像进行视觉矫正，在投影图像中检测到球的特征。其次，利用KLT对检测到的球体特征进行光流跟踪，并在相邻摄像机之间进行特征匹配。然后，跟踪上的特征被三角化到每个对应的3D点。第三，利用2D-3D特征对应关系，利用多视点P3P-RANSAC初始化姿态，并通过pose only bundle平差（BA）进行优化。最后，利用局部光束平差（LBA）同时对估计的姿态和观测到的三维点进行优化。
C. 基于TSDF稠密地图
为了获得全局的3D地图，将估计的全深度图和姿态融合到TSDF中。
● 实验
稠密地图结果的评估。顶部：完整性，底部：准确性。图例中显示了每种方法的平均比率。我们使用OmniMVS[15]、OmniMVS+和Tiny+作为深度；GT轨迹、ROVO[14]和ROVO+用于姿势。
我们对Wangsimni数据集是否有闭环检测的影响对比。与检测到的回路闭合的轨迹比较结果。
数据集的稠密SLAM结果。
（a）光照强烈的环境下。绿色代表GT地图。我们的ROVO+减少了估计姿态的漂移误差。
（b） 车库环境下。绿色表示前摄像头的估计轨迹
Wangsimni数据集的定性结果。左图：在卫星图像上垂直投影的估计轨迹。右：对应的稠密映射结果。我们将直方图均衡化应用于顶点颜色的可视化。
●总结
本文提出了一种适用于多鱼眼相机的定位与稠密地图的SLAM系统。该方法在参数较少的情况下，快速、准确地估计出全方位深度图。然后将输出深度图集成到视觉里程计中，提出的视觉SLAM模块实现了较好的姿态估计性能。实验表明，该系统能够生成良好的合成环境和真实环境三维地图。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
