目录
一、稠密点云的获取方式
二、基础知识
1.极线搜索：
2.光度一致性假设 photo-consistency
3.可视性约束
三、多视角立体技术
1.基于体素的方法
2. 基于空间patch扩散的方法
3.基于深度图融合的方法[4]
参考
一、稠密点云的获取方式- Lidar扫描：精度高(毫米级别)，效率高，有效范围几米到几百米，价格昂贵；高反光，玻璃表面，吸收表面
- Kinect：使用方便、价格适中、速度较快；精度较低、有效距离短
- 结构光：高精度、高效率、近距离数据获取
- 基于图像的方法：multi-view stereo，无源被动式、成本低、图像来源广、计算速度慢、精度较高
参考图像中的一点对应另一幅图像中的一条线段
- 同一空间的点在不同视角的投影应当具有相同的光度，重建的核心在于恢复空间中具有光度一致性的点
- 朗伯反射假设：
- 常用的计算区域光度一致性的度量方式：
- Sum of Squared Differences (SSD)
- Sum of Absolute Differences (SAD)
- Normalized Cross Correlation(NCC)
-
- 图像中出现的点不能被遮挡
- 重建的点前面不能出现点
- 不能出现在物体内部
- 规则的划分[1]：等价于3D空间Voxel标记的问题
- 不规则的划分[2]：等价于3D空间四面体标记的问题
- 图像上的约束——剪影约束
- 图像上的约束——光度一致性约束
- 常用的优化模型[3]——典型的MRF离散优化问题
- 参考图像上每个像素分配一个标签（内部或者外部）
- 数据项-光度一致性假设
- 平滑项-邻域假设
- 可视项-可视性约束
- 参考图像上每个像素分配一个标签（内部或者外部）
- 优缺点
- 优点
- 生成规则的点云
- 便于提取物体的平面
- 缺点
- 精度受到空间划分分辨率的影响
- 难以处理精度高、规模大的场景
- 优点
- 方法
- 假设空间中的3D 矩形patch
- 通过一定规则的扩张方法，使得patch覆盖物体表面
- PMVS http://www.di.ens.fr/pmvs/
- 流程
- 初始3D patch的生成
- patch扩张
- patch滤波
- 特性
- 人的左右眼立体视觉和深度图
- 基本流程
- 1. 为每一幅图像选择邻域图像构成立体图像对
- 2. 计算每一幅图像的深度图
- 3. 进行深度图融合
- 视角选择
- 邻域的选择——全局视角选择
- 1. 图像具有相同的内容、外观和尺度
- 2.图像具有足够大的时差（宽基线）
- 图像尺度的估计——用于衡量图像的分辨率
- 图像上1个像素的宽度对应的三维空间中的物体尺寸
- 相关视角的选择——局部视角选择
- 1.NCC值确定候选视角
- 2.实现要足够分散（不共面）
- 区域生长法扩张
- 重建的置信度建立优先级队列
- 从初始的稀疏特征点开始深度估计
- 对每个种子点进行非线性深度优化
- 每次优化完后判断以下两种情况，将邻域像素添加到队列中: 1)邻域没有深度值 2) 当前像素的置信度值高于邻域像素一定范围
- 深度值非线性优化
- 深度值非线性优化
- 非线性优化的数学模型
- 颜色尺度的优化
最小二乘法
的优化-梯度下降法
- 深度值非线性优化——整体框架
- 只进行深度h(s,t)的优化(迭代4次)
- While (迭代次数< 20)
- 每间隔5次迭代，进行 h(s,t), hs, ht的优化,否则仅优化深度
- 优化完成后跟踪判断每个视角的置信度
- 如果视角的置信度太小，或者超过迭代14次尚未收敛，则从局部视角中移除该视角，并重新进行视角选择
- 深度估计结果
- 深度融合
- 深度融合——一致性约束
- 深度融合——可视性约束
- 总结：
- 邻域视角选择使得深度估计准确度提升
- 原理简单，只用到光度一致性约束和可视性约束，适用的场景广泛
参考
- ^S.M. Seitz and C.R. Dyer. Photorealistic scene reconstruction by voxel coloring. International Journal of Computer Vision, 35(2):1–23, November 1999.
- ^Sinha S N, Mordohai P, Pollefeys M. Multi-View Stereo via Graph Cuts on the Dual of an Adaptive Tetrahedral Mesh[C]// IEEE, International Conference on Computer Vision. IEEE, 2007:1-8.
- ^V. Kolmogorov and R. Zabih. Multi-camera scene reconstruction via graph cuts. In European Conference on Computer Vision (ECCV), 2002.
- ^M. Goesele, N. Snavely, B. Curless, H. Hoppe, and S. Seitz. Multi-view stereo for community photo collections. In IEEE International Conference on Computer Vision (ICCV),2007.
