点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨泡泡机器人
来源丨 泡泡机器人SLAM
标题: Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular DepthEstimation in the Dark
作者：Kun Wang, Zhenyu Zhang, Zhiqiang Yan , Xiang Li1, Baobei Xu , Jun Li and Jian Yang
机构：PCA Lab,Tencent YouTu Lab ,Hikvision Research Institute
编译：Cristin
审核: 闵称
摘要
大家好，今天为大家带来的文章是 Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular DepthEstimation in the Dark
单目深度估计的目的是从单个图像或视频中预测深度。最近，自监督方法受到了广泛关注，因为它们不需要深度注释，并且在一些日间基准测试中取得了令人印象深刻的性能。然而，它们在更具挑战性的夜间场景中会产生奇怪的输出，因为低能见度和不同的照明，这分别会带来弱纹理和打破亮度一致性假设。为了解决这些问题，本文提出了一个新的框架，并进行了一些改进：（1）引入基于先验的正则化，从未配对的深度图中学习分布知识，防止模型被错误训练；（2） 我们利用MappingConsistent图像增强模块增强图像可见性和对比度，同时保持亮度一致性；（3）我们提出了基于统计的掩模策略，利用动态统计调整无纹理区域内移除像素的数量。实验结果证明了各个组件的有效性。同时，我们的框架在两个夜间数据集上实现了显著的改进和最先进的结果。
Code ：https://github.com/w2kun/RNW
主要工作与贡献
本工作的主要贡献如下:
我们提出了基于先验的正则化模块，从未配对的参考中学习分布知识，防止模型被错误训练。
•我们利用映射一致性图像增强模块处理黑暗中的低可见性，并保持亮度一致性。
•我们提供了基于统计的mask，通过使用动态信息更好地处理无纹理区域。总之，这些贡献在夜间深度估计任务中产生了最先进的性能，并有效地减少了深度输出中的奇异性。
算法流程
问题：夜间场景包括两个重要问题，低能见度和变化的光照，导致大多数现有的自我监督方法（例如MonoDepth2[15]）产生奇怪的深度输出奇异值。
图1 总体管道包括三项改进（橙色框）：基于先验的正则化（PBR）、映射一致性图像增强（MCIE）和基于统计的掩模（SBM）。PBR显示在右侧。concat表示沿通道维度的串联操作，Dr和Ip分别表示参考深度图和坐标图像
1.系统框架
为了解决这两个问题，本文提出了一种有效的夜间自监督深度估计框架，并对其进行了三个方面的改进。
首先，我们引入基于先验的正则化（PBR）模块来约束深度参考邻域中的错误深度，防止深度网络被错误训练。
该约束是通过以对抗的方式从未配对的参考中学习先验深度分布来实现的。此外，将二维坐标编码为PBR的附加输入，以找到与其像素位置相关的有用深度分布。
其次，我们利用映射一致性图像增强（MCIE）模块来处理低可见性问题。尽管图像增强方法，例如对比度限制直方图均衡化（CLHE）[37]可用于在微光图像上取得显著效果[9,23]，但它们难以处理视频帧之间的对应关系，这对于自监督深度估计至关重要。因此，我们扩展了CLHE方法以保持亮度一致性，同时增强低可见视频帧。 最后，我们提出了基于统计的掩模（SBM）来处理无纹理区域。我们引入SBM，通过使用动态统计灵活地调整遮罩像素，从而更好地处理夜间场景。
2.方法
2.1 基于先验的正则化
我们发现像素的深度和位置之间有着密切的关系。例如，驾驶场景的图像通常显示沿垂直方向从道路到天空的视图。基于这一观察，我们将每个像素的2D坐标编码为图像Ip，作为ΦD的额外输入。Ip由两个单独指示x轴和y轴坐标的单通道地图组成，并缩放至范围[0,1]进行归一化。此外，Dt和Dr都是尺度模糊性，因此统一它们的尺度是不合理的。我们应用µ（·）对深度图进行归一化处理，以解决其比例失调问题：
2.2映射一致性图像增强
图2 最上面的两张图片说明了MCIE的有效性，我们可以在其中看到可见性的明显改善，尤其是在红色框内。下面三幅图显示了计算亮度映射函数γ的主要步骤。
映射一致性图像增强（MCIE）采用对比度受限直方图均衡化[37]（CLHE）算法，以满足保持亮度一致性的需要，这对于自监督深度估计至关重要。这是通过使用亮度映射函数b′=γ（b）并将其应用于目标帧和源帧来实现的，即
假设输入图像的频率分布fb=h（b），其中fb是亮度等级b的频率。首先，我们剪裁大于预设参数σ的频率，以避免噪声信号的放大。其次，剪裁频率均匀地填充到每个亮度级别，如子图（b）所示。最后，利用累积分布cdf通过
2.3基于统计的掩码
SBM使用动态统计信息灵活调整遮罩像素。在训练期间，SBM通过dts=||It − Is||1，并使用指数加权移动平均（EWMA）获得最近样本中的平均dts，其为
图3 ms和ma之间的视觉比较[15]，其中黑色像素从损失中去除。我们可以看到，ms可以更好地屏蔽无纹理区域（例如红色框中的光点）。
实验结果
表1 定量分析
图4 RobotCar夜间数据集的定性比较。第一行是输入图像。SC SfMLearner[2]、MonoDepth2[15]和FM[41]的结果从第二行到第四行分别列出。我们的结果显示在底部。
表3 定性比较我们的方法（中间）和ADFA[43]（右）。这些图像来自ADFA中的图1。
图4 nuScenes之夜的定性结果。由于能见度较低和流量更复杂，该数据集更具挑战性，而我们的方法仍然能够做出合理的预测。
点击阅读原文， 即可获取本文下载链接。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
