点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨HawkWang
来源丨计算摄影学
你有没有想过，如果能让司机在驾驶汽车转弯时提前知道另外一个车道上的情况，那应该会减少大量的车祸:
如果能让搜救人员在无法进入某个房间时，观察到里面的人员情况，一定会抢救出更多的受害者：
在医学上，各种内窥镜检查过程中，顶端的摄像机很难到达狭窄的空间(心内镜、结肠镜和支气管镜)。如果有某种手段，能够让摄像机观察到直接无法看到的区域，一定能让诊断更加准确：
然而我们都知道，光是沿着直线传播的，要实现上面的技术场景，意味着我们需要观察到视线外的物体：
这就是我接下来会介绍的技术：非视线成像(None-Line-Of-Sight Imaging, NLOS Imaging)
人们很早就会用简单的手段来进行非视线成像了——例如你可能在一些战争片、动作片里面看到，狙击手通过伸出一面镜子来观察躲在墙角的敌人——这种成像只是简单的二维观察。而我今天要介绍的技术，利用了之前介绍过的飞秒摄影技术，第一次实现了对视线外的物体进行三维成像：
这个技术的介绍来自于：
其官网是：CORNAR: Looking Around Corners，而这个持续多年的项目的领导者之一，就是我们之前多次提到的Ramesh Raskar教授
我们先来看看在这个项目里面，作者们是如何进行成像场景的布局的：
你可以看到，有一个隐藏的目标躲在一个角落里面，相机无法直接看到它。而高频激光发出的光打到墙面上的L点，经过漫反射，其中一束光线反射到目标上的s点，它会再次漫反射，其中一束光线又返回墙面的w点，然后进入到相机中。
如果这是一个普通相机的话，它是完全无法区分接收到的光线到底是由墙面上L点的漫反射直接导致的，还是由物体上的反射导致的，也无法区分是由物体上的哪一点导致的反射。因此，这里需要使用我之前在51. 瞬态成像 - 飞秒摄影(TOF系列 1）中介绍的条纹相机。稍微复习下条纹相机的原理：
通过这样的相机，可以达到2ps的时间解析力，从而准确的知道每一条光路的距离，并进一步进行分析：
这里条纹相机对焦的是墙面上的虚线段
当光路确定时，单个物体点导致的成像是一条曲线，其中横坐标是线段上的位置，纵坐标则是光子到达的时间。
从下面刨面图可以看到，物点s漫反射出的光会在不同时刻到达条纹相机，从而形成曲线图。
而通过控制反光镜可以不断改变L点的位置，从而在条纹相机上呈现不同的像。下面是一个示意图，可以看到改变三次激光的方向，可以得到三个不同的图像。
作者们通过多次改变激光打到墙面上的位置点L并变换和统计结果图像，就可以对物体的三维信息进行分析。
这里面，他们设计了一种叫做"Back Projection"的算法来完成这种分析。
由于飞秒相机的超高的时间分辨率，这套非视线成像的系统也能得到很高的三维重建的分辨率，按作者论文的描述，在垂直于墙面方向的三维重建分辨率可以到400微米，而在平行于墙面方向上的重建分辨率可以到0.5-1厘米，至少在当时这已经是很了不起的成就了，因此它可以用于进行更精准的三维重建：
让我们再欣赏一次完整的演示视频：
看到这里，你可能会想，非视线成像确实有趣，也可能很有用。但飞秒相机价格昂贵，很难应用到实际场景吧，难道没有别的手段来实现非视线成像吗？
还真有！我接下来还会给你介绍其他的非视线成像的方法，敬请期待。
今天这篇文章的参考资料来自于：
-
原始论文：https://www.nature.com/articles/ncomms1747
-
Youtube演示视频：https://www.youtube.com/watch?v=nxNzAHNPFvI
-
教授的演讲：https://www.youtube.com/watch?v=9xjlck6W020&t=224s
-
项目网页：https://web.media.mit.edu/~raskar/
-
CMU 2017 Fall Computational Photography Course 15-463, Lecture 26
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
