点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨泡泡机器人
来源丨泡泡机器人SLAM
标题：Asynchronous Multi-View SLAM
作者：Anqi Joyce Yang, Can Cui, Ioan Andrei Bârsan, Raquel Urtasun, Shenlong Wang
机构：Uber Advanced Technologies Group，University of Toronto
来源：ICRA 2021
编译：GUOCHENG
审核: 张海晗
摘要
大家好，今天为大家带来的文章：Asynchronous Multi-View SLAM
现有的多摄像头SLAM系统假定所有摄像头都有同步快门，但实际情况往往并非如此。在这项工作中，我们提出了一种广义的多摄像机SLAM方法，用于解决异步快门情况。我们的框架集成了一个连续时间运动模型，在跟踪、局部映射和循环闭合期间跨异步多帧关联信息。为了进行评估，我们采集了新的SLAM数据集AMV Bench，使用异步多摄像头机器人平台记录。AMV Bench比以前的多视角高清户外SLAM数据集大一个数量级以上，涵盖了各种挑战性的运动和环境。我们的实验强调了异步快门情况下建模的必要性，并表明在具有挑战性的室外场景中，使用多个摄像头对于实现鲁棒和准确的SLAM至关重要。
主要工作与贡献
-
第一个用于大规模室外环境的全异步连续时间多摄像头视觉SLAM系统；
（1）异步多帧的概念，它将来自多个异步摄影机的输入图像分组；
（2）连续时间运动模型的集成，它将异步多帧的时空信息关联起来，用于联合连续时间轨迹估计。
-
AMV Bench，室外多视角大场景数据集。AMV-Bench是在宾夕法尼亚州匹兹堡市采集的，包括如低光场景、遮挡、高速环境，以及复杂的场景，如三点转弯和倒车停车。实验表明，多摄像机配置对于克服大规模室外场景中的不利条件至关重要。
算法流程
图1
考虑异步多视角SLAM问题，其中观测值由多个相机在任意时间触发捕获。假设每个相机Ck是一个校准过的针孔相机，具有内参矩阵Kk和外参矩阵Tkb，输入是各个摄像头关联的一系列图像和时间戳。然后，目标是估计机器人在世界坐标系下的轨迹 Twb(t)。
该系统的初始化过程与标准的视觉SLAM方法相同，再加上三线程跟踪、局部建图和闭环。不同在于通过异步多帧和连续时间模型将其推广到多个异步摄像头 。初始化后，将每个时刻传入的多帧图像作为输入，推断其运动参数，并决定是否将其提升为key multi-frame(KMF)。 为了提高效率，仅在局部建图和闭环检测期间使用KMF。当选择新的KMF时，局部映射模块在最近的KMF窗口中细化姿势和贴图点，以确保局部一致性，而循环闭合模块检测何时重新访问以前映射的区域，并更正漂移以增强全局一致性。
A. Asynchronous Multi-Frames
现有的同步多视角系统将同时捕获的多视角图像分组到 multi-frame中作为输入。然而，当每个传感器的快门时间变化时，该系统不能直接应用。为了推广到异步相机，我们引入了asynchronous multi-frame，它将在时间相近（例如100ms内）的图像分组。在图1中，每个异步多帧包含在10 Hz的单旋转激光雷达扫描期间拍摄的图像。与同步多帧相比，每个异步多帧存储：一组相机Ck捕获的图像和时间戳{(Iik，tik)}，以及用于恢复估计轨迹的连续时间运动模型参数。
B. Continuous-Time Trajectory Representation
为了将机器人的位姿与在任意时间进行的观察相关联，我们将机器人的整体轨迹表示为一个连续的时间函数，而不是离散的位姿。我们利用cumulative cubic B spline函数作为一阶和二阶导数的参数方程，该函数平滑且计算效率高 。累积结构对于SE(3)中精确的流形插值是必要的。在我们的框架中，我们将每个关键多帧KMFi与控制姿势相关联。此外，由于KMF不一定在时间上均匀分布，因此使用non-uniform knot vector。对于每个KMFi，将代表时间ti定义为所有图像捕获时间tik的中值。然后，区间t上的轨迹曲线可以表示为四个控制姿势。累积三次B样条轨迹 表示如下：
其中：
C. Initialization
系统初始化假设存在一对共享合理重叠视野并且摄像头快门时间非常近。在系统启动时，使用图像和时间戳创建第一个MF，将其选为第一个KMF，将时间t0设置为相机对触发时间，将控制姿势ξc0设置为世界帧的原点，并使用相机对三角化的点初始化地图。插入第二个KMF后，将在建图过程中创建来自其他摄影机图像的映射点。
D. Tracking
在跟踪过程中，通过将传入的多帧MFi与最近的KMF进行匹配来估计其连续姿态。然后，决定是否应选择MFi作为KMF，用于地图细化和未来跟踪。在文献[4]的基础上，将位姿估计和地图优化描述为一个基于稀疏图像特征的间接几何能量最小化问题。
E. Local Mapping
当选择一个新的KMF时，运行局部束调整来优化3D地图结构，并最小化最近帧中跟踪误差累积的漂移。然后创建并剔除贴图点，以反映最新的更改。
F . Loop Closing
闭环模块检测机器人何时重新访问某个区域，并校正累积漂移，以实现建图和轨迹估计的全局一致性。多视角SLAM系统具有更宽的视野，可以检测在任意角度遇到的环路。
通过多视图相似性检查和多视图几何验证扩展了之前基于DBoW3[69]的循环检测算法[4]。为了执行循环闭合，集成了三次B样条运动模型，以形成姿势图优化问题的异步多视图情况。
实验结果
点击阅读原文， 即可获取本文下载链接。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
