点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
1
前言
刚刚过去的 2020 年 ECCV，有一项 AI“隐身”技术引人瞩目。
正在坐秋千的小孩，突然只剩下秋千架。
让漫步的行人消失，让奔驰的汽车消失。
这么好玩的 AI 算法，你想学吗？
老规矩，今天，继续手把手教学。
算法原理、环境搭建、效果实现，一条龙服务，尽在下文！
2
FGVC
FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亚理工大学计算机工程专业就读博士三年级，师从华人教授 Jia-Bin Huang。
FGVC 算法本质上是一个基于光流法的视频修复算法。
光流法是视域中物体运动检测的概念，其用于描述运动所造成的观测目标、表面或边缘的运动，主要应用于计算机视觉和影像处理等。
使用光流法，可寻到不同帧之间的关系，并通过在不同帧之间传播信息来补全视频。
FGVC 主要包含三个步骤：Flow completion、Temporal propagation、Fusion。
Flow completion：具体操作时，要计算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。
Temporal propagation：按照光流的轨迹，为每个丢失的像素找到一组候选像素，对于每个候选帧，都要估计一个置信分数以及一个二进制有效性指标。
Fusion：使用置信加权平均值，将每个缺失像素的候选像素与至少一个有效候选像素融合。对于没有候选像素，则使用一个关键帧，并使用单个图像补全技术来填充它。
更具体的原理，比如边缘引导的光流补充等，可以去「啃下」论文，学习一下。
Paper 地址：
https://arxiv.org/abs/2009.01835
3
环境配置
想要测试算法效果，先要部署下开发环境。
Github 开源项目地址：
https://github.com/vt-vl-lab/FGVC
Github 下载慢的，可以下载我已经打包的代码（提取码：jack）：
https://pan.baidu.com/s/1t_EDDDgMCHBS83QFywuFdg
这里推荐使用 Anaconda 完成部署，不知道 conda 用法的，可以看下我写过的另一篇基础教程：
《别再折腾开发环境了，一劳永逸的搭建方法》
FGVC 算法依赖于另外两个算法 DeepFill 和 RAFT。
所以，可以创建两个虚拟环境 FGVC 和 raft。
FGVC 环境使用 PyTorch 0.4.0，并配置算法 DeepFill 的环境。
DeepFill 环境配置方法：
https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting#install--requirements
直接使用指令安装依赖库：
pip install -r requirements.txt
raft 环境使用 PyTorch 1.6.0，并配置算法 RAFT 的环境。
RAFT 环境配置方法：
https://github.com/princeton-vl/RAFT#requirements
这里比较简单，使用 conda 安装需要的库即可。
都配置完毕，就可以测试算法效果了！
4
效果测试
先激活 raft 虚拟环境，直到运行结果出现提示：
「Please switch to Pytorch 0.4.0」
然后切换到 FGVC 虚拟环境，然后再运行一次代码。
Object removal：
cd tool
python video_completion.py \
--mode object_removal \
--path ../data/tennis \
--path_mask ../data/tennis_mask \
--outroot ../result/tennis_removal \
--seamless
FOV extrapolation：
cd tool
python video_completion.py \
--mode video_extrapolation \
--path ../data/tennis \
--outroot ../result/tennis_extrapolation \
--H_scale 2 \
--W_scale 2 \
--seamless
想要计算速度更快些，可以去掉 seamless 参数。
算法需要 rgb 图片和 mask 图片，这些数据是已知的，想要去除什么物体，给个物体的 mask 即可。
运行效果示意图：
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
