以NeRF为代表的神经渲染技术高速发展，学界已经不满足合成几个新视角让照片动起来了。
接下来要挑战的是根据照片直接输出3D模型，可以直接导入到电影、游戏和VR等图形生产线里的那种。
所用照片不是出自高质量数据库，就是直接从网上搜集游客拍摄的各大景点，设备、天气、距离角度等都会不一致。
生成的结果远看结构完整，近看细节丰富，如果你有VR设备也可以在Demo中直接预览3D版。
这项最新突破由浙江大学和康奈尔大学团队合作完成，登上图形学顶会SIGGRAPH 2022。
论文地址： https://arxiv.org/abs/2205.12955
GitHub仓库： https://zju3dv.github.io/neuralrecon-w/
而在这之前，同类技术生成的3D模型连形状完整都做不到。
看到这里，网友纷纷表示这个领域的进展比人们想象的要快。
“慢点学，等等我”。
那么，这项研究靠什么取得了突破？
融合两种采样方式具体来说，这项研究的基本框架借鉴了NeurIPS 2021上的NeuS，一种把隐式神经标准和体积渲染结合起来的方法。
但是NeuS使用基于球体的采样（Sphere-based sampling）方法，对于近景、小物体来说还算适合。
用于结构复杂的大型建筑物的话会有大量采样点采在空白区域，增加大量不必要的计算压力。
为解决这个问题，研究人员提出体素引导（Voxel-guided）和表面引导（Surface-guided）混合的新采样方法。
体素引导可以避免不必要的浪费，训练时所需射线（Traning ray）可以减少30%。
再结合表面引导增加真实曲面周围的采样密度，帮助神经网络更好拟合，避免丢失细节。
在消融实验中可以看到，仅使用体素引导方法收敛的比基于球体的方法快，但不如混合方法细节丰富。
与之前同类研究对比，新方法生成模型的完整性和细节方面更出色。
训练速度上也有明显优势，特别是在大型场景墨西哥城美术宫（PBA）。
当然，新方法也不是完全没有缺点。
一个继承自NeRF的局限性是，如果相机位置校准有偏差会影响最终结果。
还有一个难以解决的问题，就是照片拍不到的建筑物背面和内部就无法精确重建了。
最后再补充一点，浙大团队中一些成员，之前还研究了神经3D人体重建。
可应用于为体育比赛提供自由视角的视频重放。
也是666了。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
