作者丨黄浴@知乎
来源丨https://zhuanlan.zhihu.com/p/412002261
编辑丨3D视觉工坊
arXiv2021.7.26上传的ICCV‘21录取论文 “HRegNet: A Hierarchical Network for Large-scale Outdoor LiDAR Point Cloud Registration“，作者来自同济大学、慕尼黑工大和瑞士苏黎世ETH等。
点云校准是 3D 计算机视觉的一个基本问题。室外激光雷达点云通常规模大且分布复杂，这使得校准具有挑战性。本文提出了 HRegNet 的分层网络，用于大规模室外激光雷达点云校准。
HRegNet 不用点云的所有点进行校准，而是针对分层提取的关键点和描述子。整体框架结合了较深层的可靠特征和较浅层的精确位置信息，实现鲁棒和精确的配准。其中一个对应网络（correspondence network）来生成正确和准确的关键点对应关系。此外，在关键点匹配中引入bilateral consensus和neighborhood consensus，设计相似性特征合并到对应网络中，提高了校准性能。
代码网址为https://github.com/ispc-lab/HRegNet。
如图所示是HRegNet的结构图：点云 P 分层下采样得到关键点 X 和描述子D 的小集合。在底层进行粗校准利用关键点匹配的可靠特征，然后利用上层的精确位置信息细校准修正该变换。
备注：感谢微信公众号「3D视觉工坊」整理。
如图所示介绍两个重要概念：bilateral consensus和neighborhood consensus。
bilateral consensus如图（a）所示，一对对应的关键点应该是双方描述子空间中彼此最近的邻居。neighborhood consensus如图（b）所示，两个对应关键点的相邻关键点也应该具有很高的相似度。为了有效地整合到基于学习的校准流水线中，基于描述子的双向相似性和基于注意的邻域编码模块（attention-based neighbor encoding module），作者设计了相似性特征，这显着提高了校准性能。
每个特征提取模块的输入是关键点（或原始点云）、saliency uncertainties,、描述子以及前一层关键点的特征。首先采用Weighted Farthest Point Sampling（WFPS）选择一组候选关键点。之后，执行 k-NN搜索构建以候选关键点为中心的集群，并遵循Shared Multi-layer Perceptron (Shared-MLP) 预测集群中每个相邻点的注意权重（attentive weight），细化候选关键点的位置。saliency uncertainties,也可以对集群采用另一个Shared-MLP来预测。此外，描述子网络旨在为每个关键点提取描述子。
在提取出关键点和描述子之后，接下来是如何找到源（source）关键点和目标（target）关键点之间的正确对应关系。本文采用基于学习的对应网络匹配底层的两组关键点进行粗校准。
如图所示是对应网络做粗校准：
对源关键点，在描述子空间中执行 k-NN搜索，找到 K 个候选对应关键点。K 个相邻候选关键点和中心关键点形成一个集群，其特征由三部分组成：几何特征、描述子特征和相似性特征。相邻关键点和中心关键点之间的相对坐标和距离被算为附加几何特征。另外，关键点的saliency uncertainties不确定性也包含其中。
给定对应关键点和可信度分数，最优变换的计算如下：
相似特征用来带入bilateral consensus，如图是相似矩阵的示意图：
其中相似矩阵的计算如下：
在两个方向做归一化得到两个相似矩阵
另外上面图中也看出来，为引入neighborhood consensus，提出基于注意的邻域编码模块搜集邻域关键点信息得到邻域-觉察描述子。
细校准在最上层实现，降低关键点稀疏带来的误差。
实验结果：基准方法包括传统方法如PICP、P2Plane ICP、RANSAC 和 Fast Global Registration (FGR) ，基于学习方法如Deep Closest Point (DCP)、IDAM、Feature-metric Registration (FMR)和Deep Global Registration (DGR)。
定性结果例子。如图第一行显示粗校准中源和目标关键点之间的对应关系，置信度分数 > 0:005；第二行显示置信度分数 > 0:0005 的对应关系。绿线和红线分别代表对应的内点和出格点；底行显示对齐的两个点云，其中放大一个区域更好可视化。
定量结果例子。采用relative translation error (RTE) 和 relative rotation error (RRE) 评估，如图分别对两个数据库进行比较实验，如表所示是更多的结果数据显示。
本
文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
1.面向自动驾驶领域的多传感器数据融合技术 2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 3.国内首个面向工业级实战的点云处理课程 4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
干货领取：
1. 在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
2. 在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
3. 在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、orb-slam3知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
