CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding
代码链接：https://github.com/MohamedAfham/CrossPoint
文章链接：https://arxiv.org/abs/2203.00680
作者笔名：HT
摘 要
由于点云的不规则结构，用于各种任务（例如 3D对象的分类、分割和检测）的大规模点云数据集的人工标注通常是很费力的。无需任何人工标记的自监督学习，是解决此问题的一种很有前景的方法。在现实世界中，我们观察到人类能够将从2D图像中学习到的视觉概念映射到3D世界，进而辅助理解。受到这种见解的启发，我们提出了CrossPoint，这是一种简单的跨模态对比学习方法，用于学习可迁移的3D点云表示。它通过最大化点云和不变空间中相应渲染的 2D 图像之间的一致性，来实现3D-2D对象间的对应，同时鼓励点云模态中的变换不变性。我们的联合训练目标结合了模态内和跨模态的特征对应关系，从而以自监督的方式集成了来自 3D 点云和 2D 图像模态的丰富的学习信号。实验结果表明，在包括 3D 目标分类与分割在内的各种下游任务上，我们的方法均优于以前的无监督学习方法。此外，消融实验验证了我们的方法在点云理解方面具有更好效果。
1、介绍
