点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨杜伟、小舟
来源丨机器之心
这是一种为 3D 点云提出的无监督胶囊架构，并且在 3D 点云重构、配准和无监督分类方面优于 SOTA 方法。
理解对象是计算机视觉的核心问题之一。传统方法而言，理解对象任务可以依赖于大型带注释的数据集，而无监督方法已经消除了对标签的需求。近来，研究人员试图将这些方法扩展到 3D 点云问题上，但无监督 3D 学习领域却进展寥寥。
近日，包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等来自英属哥伦比亚大学、谷歌研究院、多伦多大学的研究者提出了用于 3D 点云的无监督胶囊网络。Hinton 对此表示：在不受监督的情况下找到一个对象的自然组件以及这些组件的内在参照系是学习将解析图像转换为局部整体层级结构的重要一步。如果以点云开始，则可以做到。
具体而言，研究者通过排列等变（permutation-equivariant）的注意力计算对象的胶囊分解，并通过训练成对的随机旋转对象来自监督该过程。本研究的核心思想是将注意力掩模聚合为语义关键点，并使用它们来监督满足胶囊不变性或等方差的分解。这不仅可以训练语义上一致的分解，还能够学习以对象为中心的推理的规范化操作。在这种情况下，既不需要分类标签，也不需要手动对齐的训练数据集进行训练。
最后，通过以无监督的方式学习以对象为中心的表征，该方法在 3D 点云重构、配准和无监督分类方面优于 SOTA 方法。研究者表示将很快公布源代码和数据集。
论文链接：https://arxiv.org/abs/2012.04718
项目主页：https://canonical-capsules.github.io/
方法
该网络在未对齐的点云上进行训练，如下图 2 所示：研究者训练了一个将点云分解为多个组件的网络，并通过 Siamese 训练设置实现不变性 / 等方差。
然后研究者将点云规范化为学习的参照系，并在该坐标空间中执行自动编码。
损失
正如无监督方法中常见的那样，该研究的框架依赖于大量的损失，这些损失控制着力图在表征中获得的不同特征。请注意所有这些损失是如何不受监督且不需要标签的。研究者根据他们监督的网络部分组织损失，包括分解、规范化和重建。
网络架构
研究者简要介绍了实现细节，包括网络架构。
-
编码器 E。我们的架构是基于 [42] 提出一种类似于点网的架构，具有残差连接和注意力上下文归一化；
-
解码器 D。公式 (4) 中的解码器基于每个胶囊运行。本研究采用的解码器架构类似于 AtlasNetV2 [13]（带有可训练的网格）。不同之处在于本研究通过相应的胶囊姿态转换每个胶囊的解码点云；
-
回归器 K。研究者只需连接描述符，并通过 ReLU 激活函数调用一系列全连接层，以回归 P 胶囊定位。在输出层，研究者使用线性激活函数，并进一步减去输出平均值，以使回归位置在规范化框架中以零为中心（zero-centered）；
-
规范化描述符。由于本研究的描述符只是近似旋转不变（通过扩展），研究者发现在规范化之后重新提取胶囊描述符β_k 很有用。
实验及结果
自动编码
研究者针对两个训练基线（在单类别和多类别变体中经过了训练）评估了用于训练网络任务（重建 / 自动编码）的方法的性能：
AtlasNetV2 [13]，一种使用基于补丁（patch-based）多头解码器的 SOTA 自动编码器；
3D-PointCapsNet [58]，一种利用胶囊架构的 3D 点云自动编码器。
下表 1 是定量分析的结果，本文方法在对齐和未对齐的设置下均取得了 SOTA 的性能结果。
下图 3 是定性分析的结果。研究者给出了基于分解的 3D 点云重建方法以及 3D-PointCapsNet [58]、AtlasNetV2 [13]的重建结果。
配准
研究者在配准 3D 点云的能力方面评估了该方法的性能，并与以下 3 个基准进行了比较：
-
Deep Closest Points (DCP) [52]：一种基于深度学习的点云配准方法；
-
DeepGMR–RRI [56]，一种 SOTA 方法，该方法可以将云分解为具有旋转不变特征的高斯混合；
-
DeepGMR–XYZ [56]，其中将原始 XYZ 坐标用作输入，而不使用旋转不变特征；
本研究采用的变体方法 RRI，其中使用 RRI 特征 [6] 作为该架构的唯一输入。本文使用 RRI 特征的方法遵循 DeepGMR 训练协议，并训练 100 个周期，而对于 DCP 和 DeepGMR，本研究使用了原作者的官方实现。定量分析的结果如下表 2 所示：
无监督分类
除了重建和配准（这两者是与训练损失直接相关的任务）之外，本研究还通过分类任务评估了方法的有效性，该分类任务与训练损失没有任何关系。结果如下表 3 所示，本文方法均实现了 SOTA 的 Top-1 准确率。
控制变量实验
此外，为了进一步分析规范化胶囊（Canonical Capsules）的不同组件对性能的影响，本研究进行了一系列控制变量实验，结果如下表 4、表 6、表 7 所示：
表 4：损失的影响。
表 6：规范描述符的有效性。
表 7：点的数量对性能的影响。
本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。 下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。 下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。 重磅！3DCVer-学术论文写作投稿 交流群已成立 扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。 同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。 一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。 ▲长按加微信群或投稿▲长按关注公众号 3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口： 学习3D视觉核心技术，扫描查看介绍，3天内无条件退款 圈里有高质量教程资料、可答疑解惑、助你高效解决问题 觉得有用，麻烦给个赞和在看~
