TPAMI 2022｜3D语义分割中域适应的跨模态学习

• 论文标题：Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation

• 作者：Maximilian Jaritz,Tuan-Hung Vu,Raoul de Charette,Émilie Wirbel, andPatrick Pérez

• 来源：TPAMI

• 论文链接：https://arxiv.org/pdf/2101.07253.pdf

• 整理：HT

摘要

域适应是在标签稀缺时实现学习的一项重要任务。虽然大多数工作只关注图像模态，但存在许多重要的多模态数据集。为了利用多模态进行域适应，我们提出了跨模态学习，我们通过相互模仿来加强两种模态的预测之间的一致性。我们限定网络对标记的数据做出正确的预测，并对未标记的目标域数据进行跨模态的一致性预测。无监督和半监督的域适应 settings 的实验证明了这种新颖的域适应策略的有效性。具体来说，我们评估来自 2D 图像、3D 点云或两者都有的 3D 语义分割任务。我们利用最近的自动驾驶数据集来产生各种各样的域适应场景，包括场景布局上、光照上、传感器设置上、天气上的变化&