您当前的位置: 首页 >  3d

仅需一部摄像机即可实现基于AI的3D重建

发布时间:2020-08-13 07:00:00 ,浏览量:0

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

Magic Leap研究人员提出了一种基于AI的方法,只需一个RGB相机即可捕获3D场景。

该方法称为Atlas,主要有两步AI过程,该过程从平面2D图像生成3D环,无需另使用立体摄像机或特殊的雷达系统对环境进行先前的3D分析。研究人员认为,基于AI的2D图像的重建比基于3D数据的方法更有效。

在左侧,你可以看到完整的3D模型,在图集重建的中间,正3D模型是使用MVDepthNet创建的。

为图像分析而优化的神经网络将各个2D图像彼此独立地分割,并基于相机数据创建简单的3D模型。AI重建:比3D扫描仪更好?神经网络可以完善和补充3D模型,这使研究人员可以更好的完整创建场景的3D模型,甚至可以创建一些在扫描过程中隐藏的区域。

关于ScanNet:ScanNet是一个RGB-D视频数据集,在超过1500次扫描中可包含250万次浏览,带有3D相机姿态、表面重构和实例级语义分割的注释。为了收集这些数据,设计了一个易于使用和可扩展的RGB-D捕获系统,包括自动表面重建和众包语义标注。使用这些数据有助于在一些3D场景理解任务中实现最先进的性能,包括3D对象分类和CAD模型检索。链接地址:http://www.scan-net.org/

根据研究人员的说法,他们的AI支持的2D-3D重建方法击败了定量和定性的常见且更复杂的方法,后者依赖于基于硬件的环境3D分析。

但是,需要快速的PC硬件:在Nvidia Titan RTX上,重建当前以每秒约14帧的速度运行。因此,3D重建的应用(例如AR眼镜)可以实时地以3D方式测量房间并在其中精确放置数字对象。

相关论文地址:

https://arxiv.org/abs/2003.10432

Githubu项目地址:

https://github.com/magicleap/Atlas

参考链接:

https://mixed.de/atlas-ki-basierte-3d-rekonstruktion-mit-nur-einer-kamera/

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复:3D视觉优质源码,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

整理不易,请给工坊点赞和在看!

关注
打赏
1688896170
查看更多评论

暂无认证

  • 0浏览

    0关注

    104724博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.1511s