项目、代码地址:在公众号「3D视觉工坊」,后台回复「U-CMR」,即可直接下载。
概述
本文主要介绍了一个学习框架,学习从单一图像中恢复物体的三维形状、姿态和纹理,训练集是没有任何真实三维形状、多视角、相机视点或关键点监督的图像集合。在本文中,作者的特别贡献之处是对摄像机上分布的表示,称之为“摄像机-多路复用”。本文的方法叫“无监督的特定类别的网格重建(U-CMR)”,在CUB、Pascal 3D等上面呈现出很好的效果,并且实现了最先进的相机预测结果。
简介
近年来,在训练深度网络从二维图像中推断三维形状方面取得了很大进展。这些方法主要分为两类,即使用3D模型的监督信号(如ShapeNet)和同一对象的多个视角(如sfm),但是不一定需要这些监督。
在互联网上很容易找到大量属于特定类别的物体的图像集合,比如鸟、汽车或椅子,这篇文章把重点放在鸟类上,如下图所示(图像来自于CUB数据集)。对于每个鸟类实例,只有一个视图,并且形状略有不同。