0前言
本篇文章主要想对目前处于探索阶段的3D目标检测中多模态融合的方法做一个简单的综述，主要内容为对目前几篇几篇研究工作的总结和对这个研究方面的一些思考。 在前面的一些文章中，笔者已经介绍到了多模态融合的含义是将多种传感器数据融合。在3D目标检测中，目前大都是将lidar和image信息做融合。在上一篇文章中，笔者介绍到了目前主要的几种融合方法，即early-fusion,deep-fusion和late-fusion，并介绍了一种基于Late-fusion的融合方法。但是在大多数研究工作中，都是以deep-fuion的方法为主要的融合策略。
1背景知识 1.1多模态融合的主要难点 难点一：传感器视角问题
3D-CVF（ECCV20）的研究提出的做fusion的对做融合工作最大的问题即是在视角上的问题，描述为如下图所示的问题，camera获取到的信息是“小孔成像”原理，是从一个视锥出发获取到的信息，而lidar是在真实的3D世界中获取到的信息。这使得在对同一个object的表征上存在很大的不同。
