- 题目：Deeper depth prediction with fully convolutional residual networks
- 作者：Iro Laina 1, Christian Rupprecht 1;2 , Vasileios Belagiannis 3, Federico Tombari1;4, Nassir Navab1;2
- 1 Technische Universitat M ¨ unchen, Munich, Germany ¨
- 2 Johns Hopkins University, Baltimore MD, USA
- 3 University of Oxford, Oxford, United Kingdom
- 4 University of Bologna, Bologna, Italy
- 引用：Laina, I., Rupprecht, C., Belagiannis, V., Tombari, F., & Navab, N. (2016, October). Deeper depth prediction with fully convolutional residual networks. In 2016 Fourth international conference on 3D vision (3DV) (pp. 239-248). IEEE.
- 开源代码：https://github.com/iro-cp/FCRN-DepthPrediction
本文解决了在给定单张RGB图像的情况下估计场景深度图的问题。我们提出了一种包含残差学习的完全卷积架构，以对单眼图像和深度图之间的模糊映射建模。为了提高输出分辨率，我们提出了一种新颖的方法来有效学习网络中的特征图上采样。为了进行优化，我们引入了反向Huber损耗（the reverse Huber loss），它特别适合当前任务，并且Huber损失会受到深度图中通常存在的值分布的驱动(drive)。我们的模型由经过端到端训练的单一体系结构组成，并且不依赖于后处理技术，例如CRF或其他附加的优化步骤。结果，它可以在图像或视频上实时运行。在评估中，我们表明，与现有技术相比，所提出的模型包含的参数更少，所需的训练数据更少，而在深度估计方面却胜过所有方法。代码和模型是公开可用的。
网络结构
(论文阅读)Deeper Depth Prediction with Fully Convolutional Residual Networks :
- 使用小卷积代替大卷积，实现上采样
- 首先我们先要明白，为什么作者这么做，传统的反卷积以及双线性插值到底存在什么问题。反卷积，得到的结果存在很强的棋盘效应。双线性插值，得到的结果边缘模糊，噪声很大。那么FCRN中采用小卷积代替大卷积，一方面，可以使棋盘效应降低，一方面，尽量的保留边缘信息。当然啦，依照FCRN中所说，可以提升其速度，毕竟这样可以减小参数嘛.
- 在文章中，作者首先使用了上图的a结构，过2*2的uppooling层，没有值的地方填补0，过5*5的卷积，使让所有有0的地方都能被卷积到，过relu。据作者说，4个这种结构就行了，不需要反卷积到原来的尺寸。作者又在该基础上，设计了res-block的结构，也就是c。为什么这么设计，我也说不清楚，可能是做了skip模仿了别的结构，得到了比较好的结果吧。
- 在设计完基础结构部分，作者对baseline结构做了改进，也就是fast版。因为上述结构中，存在uppooling的结构，这种方式得到的结果中很多0值，然后使用5*5的卷积核，这让网络很难训练好，于是作者采用了小卷积的方式。作者使用了四种小卷积核，这四种小卷积核恰好能够包含5*5卷积核的所有部分。卷积得到的结果可以大量减少0的出现。在拼接的时候作者记录了每个feature map上的位置，根据位置再上采样。将这种小卷积的结构替换掉unpooling就是fast up-projection。
在这项工作中，我们提出了一种从单一图像进行深度估计的新颖方法。与典型的CNN方法不同，该方法需要多步过程来完善其最初的粗略深度预测，而我们的方法则基于强大的单尺度CNN体系结构，该体系结构遵循残差学习。拟议的网络是完全卷积的，包括向上投影层，可用于训练更深的配置，同时大大减少了要学习的参数数量和所需的训练样本数量。此外，我们说明了向上卷积层的一种更快，更有效的方法。不仅对典型的l2损失进行了优化，而且还对berHu损失函数进行了优化，从而对不同的建筑组件进行了全面评估，这表明它更适合于地面真实深度图的基础价值分布。总而言之，从我们的贡献中得出的模型不仅比现有方法更简单，可以在更少的时间内用更少的数据进行训练，而且可以获得更高质量的结果，从而使我们的方法在两个基准数据集中达到了最新水平，用于深度估计。
