您当前的位置: 首页 > 

ECCV 2020 | 基于分割一致性的单目自监督三维重建

发布时间:2021-05-31 08:27:12 ,浏览量:1

论文地址:在公众号「3D视觉工坊」,后台回复「单目自监督」,即可直接下载。

概述

本文主要从二维图像及其轮廓的集合中,学习一个自监督的、单视图的三维重建模型,预测目标物体的3D网格形状、纹理和相机位姿。提出的方法不需要3D监督、注释的关键点、物体的多视图或者一个先验的网格模板。关键之处在于,物体可以表示为可形变部分的集合,在同一类别的不同实例中,每个部分在语义上是一致的。

利用这一点,可以有效地增强重构网格与原始图像之间的语义一致性,这大大减少了在预测物体的形状、相机位姿以及纹理时的模糊性。实验结果表明,这是第一个尝试解决单视图三维重建问题、没有使用特定类别的网格模型或者语义关键点的方法。

简介

同时从2D图像中恢复3D形状、纹理和相机位姿是一个高度不适定的问题,因为其固有的歧义。现存有很多方法解决这个问题,但是这些监督信息需要大量工作,因此将其泛化到许多缺乏此类注释的对象类别时非常具有挑战性。另一方面,只使用特定类别的单视图图像集合,而不使用其他监督信号学习重建仍然存在挑战。

原因在于,没有监督信号将导致错误的三维重建,一个典型的故障案例是由“相机-形状歧义”引起的。错误预测的相机位姿和形状导致渲染图像和物体边界与输入的2D图像和其轮廓非常匹配,如下图(c)和(d)所示。

关注
打赏
1688896170
查看更多评论

暂无认证

  • 1浏览

    0关注

    105952博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.1270s