点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨孟浩、金晟
来源丨商汤学术
导读
本文主要介绍商汤智能感知终端团队，发表在 ECCV 2022 上的工作。针对3D交互双手姿态估计问题，作者采用分而治之的策略，把交互的双手姿态估计问题，解耦成两个单手姿态估计问题。
作者提出了一种基于去遮挡和移除的3D交互手姿态估计框架，补全目标手被遮挡的部分，并移除另一只有干扰的手。此外，作者还构建了一个大规模数据集Amodal InterHand Dataset (AIH)，用以训练手势去遮挡和移除网络。实验结果表明，论文提出的框架在InterHand2.6M 和 Tzionas 两个主流的公开数据集上，都获得了显著的性能提升。
论文名称：3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal
Part 1 动机和背景
图1 本文算法（右）与baseline（左）的对比
手，是人和世界交互的主要工具。3D交互手姿态估计，指从单目彩色图中，恢复出一个人两只互相交互的手的骨架。它是人机交互、AR/VR、手语理解等诸多现实应用的基础。
与被充分研究的单手姿态估计任务不同，交互手3D姿态估计是近两年来刚兴起的学术方向。现存的工作会直接同时预测交互手的左右两手的姿态，而我们则另辟蹊径，将交互手姿态估计任务，解耦成左右两手分别的单手姿态估计任务。这样，我们就可以充分利用当下单手姿态估计技术的最新进展。
然而相比通常的单手姿态估计任务来说，交互手姿态估计有以下两个难点：一是左右手间可能存在的严重的遮挡，难以估计被遮挡的手的姿态；二是左右手颜色纹理相近有歧义性，预测一只手的姿态可能会因另一只手的存在而被干扰。为了解决这两个困难，我们提出了去遮挡和移除框架，旨在预测一只手的姿态时，补全它被遮挡的部分，并移除有干扰的另一只手的部分。由图1的示例可见，在用去遮挡和移除框架后，交互手的图片会恢复右手被遮挡的部分，也会移除有干扰的左手的部分，进而转换成右手的单手姿态估计任务。
此外，我们还构建了第一个大规模的合成交互手数据集（Amodal InterHand Dataset）。该数据集具有很多应用前景，如交互式双手姿态估计、Amodal & modal的实例分割、以及手部去遮挡。
Part 2 方法
图2 本文提出的框架示意图
本文的框架包括三个部分：手部非模态分割模块（HASM）、手部去遮挡和移除模块（HDRM）、单手姿态估计模块（SHPE）。我们首先用HASM去分割图像中左右手的模态和非模态掩码，在得到掩码后，我们可以分别定位左右两手的位置并对图片进行裁剪。之后，我们利用HDRM恢复手被遮挡的部分并移除另一只有干扰的手。这样，一个交互手的图片会被转换成左右两手的单个手的图片，通过SHPE后可以得到左右手分别的姿态。
2.1 手部非模态分割模块（HASM）
我们基于mmsegmentation框架，从交互手的图片中分割出四种掩码：左手可见区域、左手完整区域、右手可见区域和右手完整区域。
2.2 手部去遮挡和移除模块（HDRM）
图3 HDRNet示意图
以右手为例，首先根据2.1预测的掩码，以右手完整部分掩码为中心，裁剪得到图片 。而HDRNet的输入则有以下四部分拼接而成：（1） 图片右手被遮挡区域被涂黑 ；（2）右手可见部分掩码 ；（3）I图片左手多余区域被涂黑 ；（4）除左右两手外的背景区域的掩码 。我们借鉴经典的inpainting方法中的网络结构(UNet + Partial Convolutions)，并在其中加入了一些Transformer结构，来增强图像特征、扩大感受野，以及让网络关注更重要的图像区域。网络HDRNet最终预测出右手被遮挡区域的像素，以及左手多余区域背后背景的像素，这样最终预测结果即为单个右手的图片。
2.3 单手姿态估计模块（SHPE）
由于SHPE不是本文的重点，因此我们使用了一个简单有效的开源方法MinimalHand作为我们的baseline。
Part 3 AIH虚拟交互手数据集
图4 AIH数据集中的样例
为了充分训练我们提出的HDRM网络，我们基于InterHand2.6M V1.0数据集，构建了第一个大规模的虚拟合成的Amodal交互手数据集（AIH）。AIH有大约300万样本组成，其中AIH_Syn 有220万样本，AIH_Render有70万样本。前者是将InterHand2.6M V1.0数据集的单个右手或单个左手的图片，进行复制粘贴，合成的交互手图片。后者是将InterHand2.6M V1.0数据集的双手mesh装饰上纹理，经过随机的旋转和平移，最终渲染到随机的数据集背景上得到的图片。图4展示了AIH数据集的可视化效果。
Part 4 实验结果
我们在 InterHand2.6M V1.0 和 Tzionas 两个主流的数据集上做了实验。如表1和表2所示，定量实验表明，我们提出的算法，取得了最优的精度。而且在耗时方面，在Tesla P40机器上单个样本预测，HDRM（我们的主要贡献点）只需要0.6ms，占整个框架预测时间47.2ms中很小一部分。更多可视化效果见图5。
表1 InterHand2.6M V1.0 数据集的定量结果对比
表2 Tzionas 数据集的定量结果对比
图5 更多可视化结果
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
16.基于Open3D的点云处理入门与实战教程
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，加微信：dddvision
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
