Hierarchical Aggregation for 3D Instance Segmentation (ICCV 2021)
代码地址:https://github.com/hustvl/HAIS
随着商品3D传感器(Kinect、RealSense、Velodyne激光扫描仪等)的快速发展和普及,3D场景理解成为计算机视觉领域的研究热点。点云上的实例分割作为3D场景理解的一项基本感知任务,是多数现实生活应用的技术基础,例如机器人、增强/虚拟现实和自动驾驶。
在过去的几年中,对二维图像的实例分割有大量的研究工作,其中自上而下的方法主导了2D实例分割。这些方法首先生成实例级proposals,然后预测每个proposals的mask。虽然现有的2D实例分割方法可以直接扩展到3D场景,但大多数现有的3D方法采用完全不同的自下而上pipeline,通过几何聚类生成实例分割结果。
事实上,直接将一个点云聚类成多个实例对象是一项非常困难的工作,原因如下:(1)一个点云通常包含大量的点;(2)一个点云中的实例数量对于不同的3D场景有很大的变化;(3)实例规模差异显著;(4)每个点都只有一个非常弱的特征,即3D坐标和颜色。导致点和实例定义之间的语义差距十分巨大。因此,过分割或欠分割更容易出现。
图1 输入点云、GT实例mask、不带和带分层聚合的3