点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
来源丨计算机视觉life
作者丨小六
德国波恩大学StachnissLab最新工作，基于自监督学习的未来三维点云预测，被CoRL2021录用。论文及代码都已开源！
论文标题：Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks
论文作者：Benedikt Mersch， Xieyuanli Chen， Jens Behley， Cyrill Stachniss
论文链接：http://www.ipb.uni-bonn.de/pdfs/mersch2021corl.pdf
开源代码：https://github.com/PRBonn/point-cloud-prediction
随着自动驾驶技术的发展和对安全性能要求的提高，大多数无人车会搭载 三维激光雷达，即所谓的 LiDAR，来感知周围的环境。LiDAR可以生成无人车周围场景的局部三维点云。这些三维点云数据可以被广泛用于众多机器人和自动驾驶任务，例如定位、物体检测、避障、三维重建、场景理解和轨迹预测等等。
“对于这些任务而言，如果能够对未来的观测进行预测，将会带来很大好处。”
预测传感器未来的观测可以帮助无人车更好地进行下一步决策。例如将预测得到的未来点云用于路径规划任务就是一个有很前景的应用，预测得到的点云可以很好地辅助规划算法进行避障和可通行区域识别等等。与传统预测车辆轨迹不同的是，直接预测未来点云观测不需要任何先验知识和复杂的前期准备工作，包括对车辆进行检测、定位或跟踪来预测未来场景。此外，直接对未来点云观测进行预测不会被局限于单一的车辆行为预测任务，因为基于原始点云观测可以实现以上提到的众多。
给定过去连续多帧观测（红色点云），所提出的方法可以对未来点云观测进行预测 （蓝色预测所得点云）
从机器学习的角度来看，点云预测也是一个非常有趣的方向，因为一旦采集了连续的数据集，在训练的过程中，某一时刻的未来观测值也是已经采集好的。这一连续时空属性使得神经网络可以通过自监督的方式学习对未来点云进行预测。因此，在训练神经网络过程中无需昂贵的人工标记，可以在线评估网络预测性能，从而很好的在未知环境中进行使用。
右上角展示的是T时刻的当前观测，剩下五幅图像依次展示的是接下来 五个时刻的未来点云。红色显示的是点云真实观测，蓝色显示的是所提方法预测得到的点云观测。
这篇工作实现了利用过去多帧LiDAR观测对未来原始点云进行预测。其使用 三维卷积神经网络来联合编码空间和时间信息。该方法采用一种新的基于连接范围图像的时空四维描述作为输入。其可以联合估计未来范围图像和对应每个三维点的分数，用以确定多个未来时间步长的三维点的稳定度。该方法通过使用跳跃连 接和球形填充的水平一致性来获取环境的结构细节，并提供比其他基准方法更准确的未来点云预测。
该方法可以实现全尺寸（full-size）点云预测并且在线实时运行。上图所展示的是所提出的用于未来点云预测的神经网络结。
11 月 8 日至11日，第五届Conference on Robot Learning （CoRL） 2021 在英国伦敦成功举办。CoRL 是面向机器人学习研究的 single-track 会议，涵盖机器人学、机器学习和控制等多个主题。近年来，CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。德国波恩大学StachnissLab常年关注于机器人以及自动驾驶领域。此次在CoRL2021上发表的最新工作所实现的功能是对激光雷达未来点云观测进行预测。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
