点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
编辑丨我爱计算机视觉
介绍一篇新出的论文 CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection ，旨在使用低成本的雷达（redar）替换自动驾驶中的激光雷达，并达到高精度3D目标检测的方法。
该文作者信息：
作者来自田纳西大学诺克斯维尔分校。
激光雷达使用发射的激光测距进行环境感知，而雷达使用无线电发射进行探测。
3D目标检测在自动驾驶领域应用广泛，而激光雷达（Lidar）和摄像头数据的融合常用来进行高精度的3D目标检测，但其仍有一些缺点。比如对远处目标检测不精确、对天气敏感（雨雪大雾天气等），而且不能直接得到目标的速度。
而低成本的雷达则相对具有天然优势：无惧恶劣天气，长远距离检测能力强（200M也OK），且天然还有目标速度信息。
但雷达数据更加稀疏，不能直接将激光雷达的方法直接套用，数据在输入层和后处理部分的融合不能取得很好的效果。
该文将摄像头采集的图像数据和雷达数据进行中间特征层的融合，以达到精确的3D目标检测。
该文算法流程图：
CenterFusion 网络架构
算法流程：
1. 首先使用CenterNet算法进利用摄像头数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转等信息
2. 然后作者将雷达检测到的目标数据和上面检测到的目标中心点进行关联，作者了视锥的方法
3. 将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，在进行3D目标深度、旋转、速度和属性的回归。
其中关键步骤是CenterNet检测结果与雷达点目标的关联，在三维空间视锥法找到对应目标的示意图：
Frustum association 视锥法关联
关联结果，该文方法为下图中最小面的结果：
解决高度信息不准确的问题，引入了雷达点云预处理步骤，pillar expansion，将每个雷达点扩展为一个固定大小的柱子
作者在nuScenes 数据集上的 3D 目标检测性能比较：
可见该文的融合方法取得了显著的精度提升，相比以前的SOTA精度提升12%。
nuScenes 数据集上进行 3D 目标检测的每类性能比较：
检测结果示例：
摄像头和 BEV （鸟瞰图）中的 3D 目标检测结果
目前，作者已将代码开源：
-
论文链接：https://arxiv.org/pdf/2011.04841v1.pdf
-
项目链接：https://github.com/mrnabati/CenterFusion
欢迎参考~
文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
