点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
1
摘要
近年来，四旋翼飞行器在航空运输中受到了极大的关注。在这些情况下，外力的精确估计与6自由度(DoF)姿态一样重要，因为它对车辆的规划和控制至关重要。为此，我们提出了一个紧密耦合的视觉惯性动力学系统,该系统可以同时估计施加在四旋翼飞行器上的外力和6自由度姿态.我们的方法建立在最先进的基于优化的视觉惯性系统的基础上,从VIMO 扩展了动力学和外力因子的新推导.利用提出的动力学和外力因素,我们的估计器鲁棒和准确地估计外力,即使它变化很大.此外,由于我们明确考虑了外力的影响,当与VIMO 和VINS-Mono进行比较时,我们的方法显示出可比较的和优越的姿态精度,即使外力的范围从可忽略到显著.大量的实验和应用场景仿真验证了该方法的鲁棒性和有效性.
https://github.com/ZJU-FAST-Lab/VID-Fusion
2
介绍
微型空中飞行器，尤其是四旋翼飞行器，长期以来一直关注包裹递送、空中操纵和协同运输。在这些应用中，四旋翼飞行器需要携带重的有效载荷或悬挂的货物，这周期性地向无人机施加外力。这些力是不可忽视的，因此会引起很大的扰动，严重影响四旋翼飞行器的飞行。为了补偿干扰，四旋翼飞行器的控制器和规划者必须事先精确地知道外力的大小和方向。因此，设计一种能明确考虑外力的状态估计器是必要和迫切的。
最近,视觉惯性里程计(VIO) [1，3]系统显示出其可靠的能力,即使在最低限度的硬件配置中,如带有惯性测量单元(IMU)的单目或双目相机,也能为四旋翼飞行器提供鲁棒和准确的状态估计.为了将外部干扰力估计结合到VIO系统中,VIMO [2]以紧密耦合的方式建立了基于模型的VIO,并打开了与VIO系统同时估计运动和外力的大门.通过将四旋翼飞行器的动力学模型作为一种新的信息源,该方法提高了姿态的精度估计并利用动力学为外力估计提供线索.VIMO通过将未知外力建模为零均值高斯值来联合估计运动和力,假设估计的外力接近零或仅在短时间内发生.显然,这种假设只适用于狭窄的场景,当无人机受到大的或连续的力时,会导致严重的不稳定性,甚至无法进行姿态估计.
为了精确地模拟和测量外力的影响,有必要将外力的量化纳入VIO系统.如图1所示,在不考虑传感器噪声特性的情况下,外力大致等于从惯性测量单元测量的运动和推力测量之间的差异.在本文中,我们不是使用零均值高斯假设,而是通过比较惯性测量单元和推力来提供粗略的力观测.我们导出一个外力预融合项来表示连续摄像机帧之间的平均力,然后结合[2]中提出的推力预融合来重新表述动力学残差.最后,利用非线性优化方法联合最小化叠加残差.
在本文中,我们改进了基于模型的VIO力估计,并提出了一个基于优化的视觉惯性动力学(VID)框架扩展[1，3，4].与VIMO 和Vins-Mono相比,所提出的估计器显示出优越的姿态和力估计精度,并且即使在外力变化很大时也能获得鲁棒性.
总结我们的贡献:
-
我们导出外力预积分,并提出离散时间处理的状态、协方差传播和力偏差校正
-
我们将外力预集成到最先进的VIO框架中,并提出了一个完整、鲁棒、紧密耦合的视觉惯性动力学状态估计器.
-
我们展示了四旋翼飞行器上鲁棒和精确的外力和姿态估计,并提出了一个新的地面真实测量数据集
3
结果
我们通过真实世界的实验和应用来评估我们提出的算法,重点是里程计和力的准确性和鲁棒性.我们在实验中进行了精度分析,并在不同场景下对所提算法进行了评估负载飞行、风中飞行.我们用力传感器评估外力估算.此外我们模拟了无人机运送包裹的场景.
1 实验设备
我们使用四旋翼平台,如图2所示:带有板载计算机(i7-8550U)、英特尔Realsense D435、DJI N3控制器.
2 飞行轨迹
我们记录了三种飞行轨迹的数据:无载荷飞行、载荷固定在无人机上的飞行和风中飞行.无载荷飞行的外力是气动阻力.载荷飞行的外力来自载荷的重力和加速度以及气动阻力的组合.最后一个在无人机试图在风扇前飞行并最终被风吹走的场景中进行测试,如图3 (3)所示.我们的算法可以估计来自风的外力,这将在视频中显示.当力大得不可忽略时,VIMO通常会失效,尤其是在着陆阶段,如图5所示.结果如图7∽8和表1所示.
3 绳索飞行
为了评估估计力的准确性,我们进行了一次绳索飞行试验,其中我们通过一根弹性绳连接无人机和力传感器,如图3 (1)所示.结果表明:无论力的大小,我们提出的方法都能提供精确的力估计.外力评估如图4所示
我们在包裹递送的模拟场景中应用我们提出的方法,如图3 (3)所示,无人机向下飞行以连接包裹.无人机再次起飞后,会在空中称量包裹重量,盘旋着,力估计和称重结果如图6所示.
根据图8和表1所示的里程计估计以及图4和图6中所示的力估计,所提出的VID-Fusion在里程计和外力估计上提供了鲁棒和准确的性能.
4
结论
本文提出了一种基于紧耦合优化的VIO框架为外力估计提供鲁棒和精确里程计的方法.当力很大或持续很长时间时,我们提出的估计器提高了里程计估计的鲁棒性和准确性.
所提出的视觉-惯性-动力学估计器框架可以很容易地扩展到双目-惯性系统,例如VINS-Fusion,并且它可以在没有模型测量的情况下运行,回到VIO系统,并且外力是法向力和加速度的组合.此外与VINS-Mono相比,我们保持了里程计估计的准确性,甚至在某些情况下增加了精确的外力估计.由于我们在本文中使用了一个简化的动力学模型,推力扭矩还没有被利用,而是留给我们以后的工作.
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
