点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
标题：LiDAR R-CNN: An Efficient and Universal 3D Object Detector
作者：Zhichao Li, Feng Wang, Naiyan Wang
来源：CVPR 2021
编译：鞠季宏
审核：王志勇
摘要
基于 LiDAR 点云的 3D 检测在自动驾驶感知系统中至关重要。在本文中，我们提出 LiDAR R-CNN，一种第二阶段检测器，通常可以改进任何现有的 3D 检测器。为了满足实践中的实时性和高精度要求，我们采用了基于点的方法，而不是流行的基于体素的方法。然而，我们在之前的工作中发现了一个被忽视的问题：简单地应用像 PointNet 这样的基于点的方法可能会使学习到的特征忽略目标提议的尺寸。为此，我们详细分析了这个问题，并提出了几种补救方法，这些方法带来了显着的性能提升。在 Waymo 开放数据集 (WOD) 和 KITTI 数据集等真实世界数据集上使用各种流行检测器的综合实验结果证明了我们的 LiDAR R-CNN 的通用性和优越性。特别是，基于 PointPillars 的一种变体，我们的方法可以以较小的成本实现新的最先进的结果。代码将在此 https URL 上发布。
主要贡献
-
提出了类似于R-CNN的第二阶段检测器，可以应用于任意基础检测器
-
细致研究了基于点的目标检测器存在的尺寸歧义问题，并提出多种解决方法。这些方法显著提升了检测器的性能
-
R-CNN 在 2080Ti 上能够以 200 fps 的速度处理 128 个目标提议
方法概述
输入特征
如下图，LiDAR R-CNN 在基础检测器的目标提议（xi, yi, zi, wi, li, hi, θi）区域内提取原始点云数据。这些点云被变换到以目标提议为中心特定方向的坐标系，使得第二阶段检测器可以更好的泛化。目标提议被适当地放大以获取一些环境信息。
提取的点云数据被输入到如下图的 PointNet 进行分类和目标检测细化回归。
尺寸歧义问题
实验证明简单地使用如上的方法进行目标检测细化并不会提升目标检测的准确率。问题出在点云的稀疏性导致不同大小的目标检测框会拥有完全相同的点云数据，这使得 PointNet 很难仅从原始点云数据准确地预测目标物体的尺寸。
上图（a）展示基于点的目标检测方法存在的尺寸歧义问题：蓝色和绿色两个虚线检测框对应于相同的点云数据，但是它们与真实检测框（红色实线）有着非常不同的 IoU。（b）-（d）分别对应几个常用的解决办法，但是它们有的不能很好地应用于多类别分类，有的仍不解决问题。本文提出了针对尺寸歧义问题的解决思路和两种解决办法：将物体尺寸的的信息提供给第二阶段目标检测器。其中图（e）的方法将距离初始目标检测框的距离信息提供给 PointNet；而图（f）的方法则沿初始检测框均匀的取样虚拟点作为 PointNet 的输入。
实验结果
本文主要使用 Waymo Open Dataset 作为基准数据集。
表4、表5显示，本文提出的两种消除尺寸歧义的方法（virtual point 和 boundary offset）相较于基准线方法或其他方法显著地提升了目标检测的准确性。
总结
-
本文提出了基于 PointNet 的高效实时第二阶段 3D 目标检测器
-
本文深入研究了基于点的 3D 目标检测器的尺寸歧义问题，并提出有效的解决思路和解决办法
Abstract
LiDAR-based 3D detection in point cloud is essential in the perception systemof autonomous driving. In this paper, we present LiDAR R-CNN, a second stagedetector that can generally improve any existing 3D detector. To fulfill thereal-time and high precision requirement in practice, we resort to point-basedapproach other than the popular voxel-based approach. However, we find anoverlooked issue in previous work: Naively applying point-based methods likePointNet could make the learned features ignore the size of proposals. To thisend, we analyze this problem in detail and propose several methods to remedyit, which bring significant performance improvement. Comprehensive experimentalresults on real-world datasets like Waymo Open Dataset (WOD) and KITTI datasetwith various popular detectors demonstrate the universality and superiority ofour LiDAR R-CNN. In particular, based on one variant of PointPillars, ourmethod could achieve new state-of-the-art results with minor cost. Codes willbe released at this https URL .
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~ 
