标题：Revealing Occlusions with 4D Neural Fields
来源：CVPR 2022 (Oral Presentation)
解读&翻译：竹石
文章&代码&视频讲座：https://occlusions.cs.columbia.edu/
遮挡是计算机视觉的基础，预测遮挡背后的内容是视频分析中许多应用的基础。近年来，研究人员将现代深度学习特征与各种方法相结合来跟踪遮挡。其中包括经典卡尔曼滤波或 linear extrapolation[25]、2D递归神经网络[57]和更明确的推理机制[49]。该文结合cloud modeling点云模型、neural field神经场和attention mechanisms注意力机制来解决这个问题。
文章介绍了一种用于学习从RGB-D摄像机预测4D点云的体系结构。该方法的关键是点云的连续神经场表征，它使用注意力机制来调节整个空间的观察。由于表征是连续的，该方法可以学习在时空中的任何位置产生点，从而允许高保真地重建复杂场景。在存在遮挡和缺失场景结构的情况下，该表征能够使用注意力来找到上次可见时的对象和/或缺失的场景结构，并随后进行校正。
文章都主要贡献有三个：
-
提出了从单目RGB-D(深度信息)视频输入中完成4D动态场景补全这一新的基本任务，为时空推理任务奠定了基础
