点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
来源丨泡泡机器人SLAM
作者丨paopaoslam
标题:Multi-Echo LiDAR for 3D Object Detection
作者: Yunze Man, Xinshuo Weng, Prasanna Kumar Sivakumar, Matthew O'Toole, Kris M. Kitani
来源:ICCV 2021
编译:鞠季宏
审核:lionheart
摘要
除了常见的 3D 点云之外,LiDAR 传感器还可获取其他测量信号。这些信号可以被用来改进 3D 对象检测等感知任务。单个激光脉冲可以被沿其路径的多个物体部分反射,从而产生多次被称为回波的测量。多回波测量可以提供有关物体轮廓和半透明表面的信息,可用于更好地识别和定位物体。LiDAR 还可以测量表面反射率(激光脉冲返回的强度),以及场景的环境光(物体反射的阳光)。商用 LiDAR 设备已经提供这些信号,但大多数基于 LiDAR 的检测模型尚未使用它们。我们提出了一个 3D 物体检测模型,该模型利用了 LiDAR 提供的全部测量信号。首先,我们提出了一个多信号融合 (MSF) 模块来组合 (1) 使用 2D CNN 提取的反射率和环境光特征,以及 (2) 使用 3D 图神经网络 (GNN) 提取的点云特征。其次,我们提出了一个多回波聚合(MEA)模块来组合在不同回波点集中编码的信息。与传统的单回波点云方法相比,我们提出的多信号 LiDAR 检测器 (MSLiD) 从更广泛的传感测量中提取更丰富的上下文信息,并实现更准确的 3D 对象检测。实验表明,通过结合 LiDAR 的多模态,我们的方法比最先进的方法高出 9.1%。
主要贡献
-
MSLiD第一个提出使用多回波点、LiDAR 环境光以及反射率信号
-
MSLiD 的多信号融合模块(MSF)可以高效地结合密集的环境光、反射率图像以及稀疏的多回波点云。
-
MSLiD 的多回波聚合模块 (MEA)可以从多组回波中获得更丰富的物体情景信息,更准确地定位和分类物体
方法概述
LiDAR 传感器通过发射激光并接收激光反射信号测量距物体的距离。如图一所示,部分LiDAR传感器所发射的激光脉冲可能穿透物体从而接受到多个反射信号。这些多回波信号可以提供很多关于物体的信息,比如物体表面是否透明,这些信息可以被用来提升三维物体检测的准确性。本文提出使用多回波生成的点云,而不是传统单一回波生成的点云进行三维物体检测的任务。
除多回波信号外,LiDAR 传感器同时还可以捕捉环境光以及反射率,这些信息同样可以被用来提升三位物体检测的准确率。具体来说,本文将环境光和反射率分别投射生成范围图像(range image)。图二显示这些范围图像作为二维卷积神经网络的输入被用来进行二维物体识别。二维物体识别的结果可以生成三维点的分类信息。同多回波点云的点特征和范围图像的像素特征一起,三维图神经网络可以生成三维物体的边界框。
多回波聚合
位于边界框内的点云作为输入预测物体的分类和细化边界框。不同于传统基于单回波点云的方法,本文将多回波点云根据可穿透性分组。可穿透点云特征和不可穿透点云特征被串联在一起共同被用于分类和精细边界框预测。
损失函数
网络的损失函数由两部分组成:
-
边界框生成误差
-
边界框分类和精细化误差
实验结果
本文分别在真实数据集和合成数据集上测试 MSLiD。其中真实数据集使用原型 LiDAR 传感器在一个北美城市采集;合成数据集基于 CARLA 模拟器生成。
表一显示使用多回波点云可以提升多个 SOTA 方法的物体检测准确度。且本文提出的 MSLiD 框架可以在这些 SOTA 方法以上继续提升准确度,表明融合环境光和反射率图像可以同样可以提升三维物体检测表现。
表三显示多信号融合模块(MSF)和多回声聚合(MEA)模块均可以显著提升准确率。
Abstract
LiDAR sensors can be used to obtain a wide range of measurement signals other than a simple 3D point cloud, and those signals can be leveraged to improve perception tasks like 3D object detection. A single laser pulse can be partially reflected by multiple objects along its path, resulting in multiple measurements called echoes. Multi-echo measurement can provide information about object contours and semi-transparent surfaces which can be used to better identify and locate objects. LiDAR can also measure surface reflectance (intensity of laser pulse return), as well as ambient light of the scene (sunlight reflected by objects). These signals are already available in commercial LiDAR devices but have not been used in most LiDAR-based detection models. We present a 3D object detection model which leverages the full spectrum of measurement signals provided by LiDAR. First, we propose a multi-signal fusion (MSF) module to combine (1) the reflectance and ambient features extracted with a 2D CNN, and (2) point cloud features extracted using a 3D graph neural network (GNN). Second, we propose a multi-echo aggregation (MEA) module to combine the information encoded in different set of echo points. Compared with traditional single echo point cloud methods, our proposed multi-signal LiDAR Detector (MSLiD) extracts richer context information from a wider range of sensing measurements and achieves more accurate 3D object detection. Experiments show that by incorporating the multi-modality of LiDAR, our method outperforms the state-of-the-art by up to relatively 9.1%.
如果你对本文感兴趣,想要下载完整文章进行阅读
本文仅做学术分享,如有侵权,请联系删文。
3D视觉精品课程推荐:
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法:算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼)
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~