点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
编辑丨新机器视觉
该方法将激光雷达投影的BEV和前向视角、与摄像头视角图像作为检测输入，在特征融合中，提出attentive pointwise fusion (APF) 模块。设计attentive pointwise weighting (APW) 模块学习，附加另外两个任务foreground分类和中心回归。
如图是架构图：整个MVAF-Net包括三个部分
-
1）单视图特征提取（SVFE），
-
2）多视图特征融合（MVFF）
-
3）融合特征检测（FFD）。
在SVFE部分，原始的RGB图像和点云由3-stream CNN主干（CV，BEV和RV）处理，生成多视图特征图，在BEV和RV做点云体素化。在MVFF部分，多视图特征与attentive pointwise fusion模块逐点自适应融合。融合的点特征通过attentive pointwise weighting模块进一步处理，对点特征进行加权并学习结构信息。在FFD部分，对融合和重加权的点特征再次体素化，并作融合主干输入给最终的3D检测。
RV投影表示为柱面坐标系统：
attentive pointwise fusion模块架构如下：
而attentive pointwise weighting模块架构如下：
MVAF-Net的主干网络细节如下图：
检测头包括：分类（focal loss）、框回归（SmoothL1 loss）和方向分类（softMax loss）。其总loss函数为
最后两个是前景分类项（focal loss）和中心回归项（SmoothL1 loss）。
结果如下：
结论
我们提出了一种端到端的单阶段多视图融合3D检测方法MVAF-Net，它由三部分组成：单视图特征提取（SVFE），多视图特征融合（MVFF）和融合特征检测（FFD）。在SVFE部分，三流CNN主干（CV，BEV和RV主干）使用LiDAR点云和RGB图像来生成多视图特征图。在MVFF部分，使用我们提出的注意点向融合（APF）模块实现了多视图特征的自适应融合，该模块可以使用注意力机制自适应地确定从多视图输入中引入了多少信息。此外，我们通过提出的注意点加权（APW）模块进一步改善了网络的性能，该模块可以对点特征进行加权并通过两个额外的任务来学习结构信息：前景分类和中心回归。大量实验验证了所提出的APF和APW模块的有效性。此外，所提出的MVAF-Net产生了竞争性结果，并且在所有单阶段融合方法中均达到了最佳性能。此外，我们的MVAF-Net胜过大多数两阶段融合方法，在KITTI基准上实现了速度和精度之间的最佳平衡。
End
声明：部分内容来源于网络，仅供读者学术交流之目的。文章版权归原作者所有。如有不妥，请联系删除。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
