学习光线跟踪一样的自3D表征Ego3RT

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨黄浴

来源丨 计算机视觉深度学习和自动驾驶 

arXiv上传于2022年6月8日的论文“Learning Ego 3D Representation as Ray Tracing“，是复旦大学张力教授团队的工作。

自动驾驶感知模型旨在将多个摄像头的3D语义表征集中提取到自车的BEV坐标系中，为下游规划器奠定基础。现有的感知方法通常依赖于对整个场景进行易出错的深度估计，或者在没有目标几何结构的情况下学习稀疏的虚拟3D表征，这两种方法在性能和/或能力上仍然有限。

本文提出一种端到端架构，Ego3RT，用于从任意数量无约束摄像头视图学习自3D表征。受光线追踪（ray-tracing）原理的启发，设计一个“想象眼（imaginary eye）”的极化网格作为可学习的自3D表征，并结合“3D到2D投影”，利用自适应注意机制制定了这个学习过程。

关键的是，该公式允许从2D图像提取丰富的3D表征，无需任何深度监督信号，并且具有与BEV一致的嵌入几何结构。尽管具有简单性和多功能性，但标准BEV视觉任务（例如，基于摄像机的3D目标检测和BEV分割）的大量实验表明，该模型在多任务学习的计算效率方面具有额外优势。

如图所示是自3D表征学习（Ego3RT）的示意图：BEV、多摄像头输入和3D目标检测

代码链接：https://fudan-zvg.github.io/Ego3RT

以图像为输入，现有视觉模型通常要么忽略（例如，图像分类）、要么直接消费（例如，目标检测，图像分割）结果预测期间输入的坐标框架。

尽管如此，这种范式并不符合自动驾驶“开箱即用（out-of-the-box）”的感知环境，其中输入源是多个摄像机，每个摄像机都有一个特定的坐标系，与所有输入帧完全不同，下游任务的感知模型（例如，3D目标检测、车道分割）需要在自车坐标系中进行预测。

也就是说，自动驾驶的感知模型需要从多视图图像的2D视觉表示中推理3 D语义，这是一个非常复杂且极具挑战性的问题。

如图所示，大多数方法采取以下两种策略：

（a）显示第一种策略（例如LSS和CaDDN）依赖于像素级深度估计，用于将2D视觉表示投影到自车坐标系，以及内外参的投影。通常，深度预测在模型内进行端到端学习，无需监督，或有额外的3D监督。这些方法的一个缺点是，无约束场景中的深度估计通常容易出错，这将进一步传播到后续组件。这也称为误差传播问题，这在很大程度上是此类流水线不可避免的。

为了解决上述问题，第二种策略（例如Image2Map、OFT、DETR3D）通过架构创新从2D图像直接学习3D表示来消除深度维度。这种方法已证明优于基于深度估计的对应方法，这意味着学习3D表示是一种优越的一般策略。特别是，Image2Map和PON利用Transformer或FC层向前学习从2D图像帧到BEV坐标帧的投影。然而，如（b）所示，3D表示在结构上与2D的对应不一致，因为无法利用严格的内外参投影，即坐标系之间没有明确的一一对应关系，因此产生次优解。受基于图像的目标检测模型的启发，最近最先进的DETR3D制定了一个带有Transformer模型的3D表征学习模型。然而，其3D表征不仅稀疏，而且虚拟，在没有明确涉及自车坐标系几何结构的意义上。因此无法执行密集的预测任务，例如分割。

本文方法属于第三种策略（c）从BEV几何中专门设计的“假想眼”中回溯2D信息。整个方法架构可以分为两个部分（1）自车3D表示学习（Ego3RT）和（2）下游任务头。如下图所示：

Ego3RT由两部分组成：图像特征提取和回溯（back tracing）解码器。为了清楚地说明回溯解码器，首先介绍“假想眼“、3D回溯到2D机制和多视图多尺度自适应注意机制。

下面详细说明Ego3RT如何从2D学习3D表示。为了避免穷举像素级预测和不一致的坐标投影，通过光线跟踪对回溯思想进行模拟。

首先引入密集“假想眼”的极化网格（polarized grid），用于BEV表示，每只眼自然占据具有内置深度信息的特定几何位置。眼睛的网格大小为R×S，其中R是每个极射线的眼睛数，S是极射线数。为了构造或“渲染”BEV表示，这些假想眼按照上述3D-2D投影程序向后发送射线到2D视觉表征。由于每只眼睛只占据一个固定的几何位置，局部观测的限制使相应的2D位置回溯信息较少。为了解决这个问题，鼓励眼睛环视周围，跨每张图像多尺度和多摄像机视图，自适应地聚焦关键的特征点。这导致一个多视图多尺度自适应注意模块（MVAA）。最后，这些假想眼的特征将是最终的3D表示。

”假想眼“示意如图所示：金球代表密集的“假想眼”的极化网格；特别是，对于有多个可见图像（例如eye3）的眼睛，会回溯多个图像，而只有单个可见图像（例如eye1）的眼睛会回溯单个图像；图像上从浅蓝色到深蓝色的蓝点显示了眼睛的重要程度，从而促进自适应性注意。

为了说明回溯机制，首先说明3D和2D之间的坐标变换。在典型情况下，通常有一个激光雷达坐标（3D）、Nview个摄像机坐标（3D）和Nview个图像坐标（2D）。首先，将校正的激光雷达坐标3D点xlidar转换为校正的摄像头坐标xcam，并用外参给定的矩阵Mex。接下来，通过以下公式将xcam投影到图像平面点ximg：

总之，通过投影矩阵M=MinMex将3D点xlidar投影到图像点ximg。如果0