论文标题:MVTN: Multi-View Transformation Network for 3D Shape Recognition
论文、项目地址:在公众号「3D视觉工坊」,后台回复「MVTN」,即可直接下载。
摘要:多视图投影方法在3D形状识别方面能达到先进的性能,现有的这些方法学习从多个视图聚合信息。然而,对于所有形状,这些视图的相机视点往往是启发式设置和固定的。为了避免当前固化的多视图方法,研究人员引入了多视图转换网络 (MVTN),它基于可微渲染的最新研究进展实现3D形状识别的视点回归。因此,MVTN可以与任何用于3D形状分类的多视图网络一起进行端到端的训练。研究人员将MVTN集成到可以渲染3D网格或点云的新型自适应多视图网络中。MVTN在3D形状分类和3D形状检索任务中表现出明显的性能提升,而无需额外的训练监督。在这些任务中,MVTN在ModelNet40、ShapeNet Core55和最新的ScanObjectNN数据集上实现了最先进的性能(提高了6%)。同时研究表明MVTN可以针对旋转和遮挡提高网络的鲁棒性。
研究贡献:
1.提出了MVTN网络,利用可微分渲染器,支持3D形状识别任务的端到端训练。
2.将MVTN与多视图方法相结合