点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
腾讯优图属于国内工业界CV领域实验室的第一梯队,其不仅服务腾讯内部线上产品,也开源了多个前沿研究和工程项目,本文盘点优图实验室开源的所有项目,其中最“火”的三个工程是『NCNN』、『人脸检测-DSFD』、『目标检测-OSD』。
-
腾讯优图项目主页:
https://github.com/TencentYoutuResearch
01
SuperResolution-RealSR
一种在真实世界环境下的新型 degradation(降质)框架-Real-SR,为超分辨率学习提供真实的图像。通过对 kernel 和 noise 的估计,来探索 blurry 和 noisy 图像的具体 degradation(降质)情况。
获得 NTIRE 2020 Challenge Real-World SuperResolution 两个赛道的冠军。
视觉结果:
对比结果:('Impressionism' is our team.)
-
论文题目:
Real-World Super-Resolution via Kernel Estimation and Noise Injection
-
论文地址:
http://link.52cv.net/uE6fmZ
-
代码地址:
https://github.com/Tencent/Real-SR
02
InferenceFramework-NCNN
NCNN 是一个针对移动平台优化的高性能神经网络推理框架。
支持大部分常用的 CNN 网络:
-
Classical CNN: VGG AlexNet GoogleNet Inception ...
-
Practical CNN: ResNet DenseNet SENet FPN ...
-
Light-weight CNN: SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet ...
-
Face Detection: MTCNN RetinaFace ...
-
Detection: VGG-SSD MobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite MobileNetV3-SSDLite ...
-
Detection: Faster-RCNN R-FCN ...
-
Detection: YOLOV2 YOLOV3 MobileNet-YOLOV3 YOLOV4 ...
-
Segmentation: FCN PSPNet UNet YOLACT ...
-
Pose Estimation: SimplePose ...
功能强大:
-
支持卷积神经网络,支持多输入和多分支结构,可计算部分分支
-
无任何第三方库依赖,不依赖 BLAS/NNPACK 等计算框架
-
纯 C++ 实现,跨平台,支持 android ios 等
-
ARM NEON 汇编级良心优化,计算速度极快
-
精细的内存管理和数据结构设计,内存占用极低
-
支持多核并行计算加速,ARM big.LITTLE cpu 调度优化
-
支持基于全新低消耗的 vulkan api GPU 加速
-
整体库体积小于 700K,并可轻松精简到小于 300K
-
可扩展的模型设计,支持 8bit 量化和半精度浮点存储,可导入 caffe/pytorch/mxnet/onnx/darknet 模型
-
支持直接内存零拷贝引用加载网络模型
-
可注册自定义层实现并扩展
使用案例:
-
图像分类android实例:
https://github.com/nihui/ncnn-android-squeezenetFast
-
风格迁移android实例:
https://github.com/nihui/ncnn-android-styletransfer
-
目标检测android实例:
https://github.com/nihui/ncnn-android-mobilenetssd
-
MTCNN人脸检测工程:
https://github.com/moli232777144/mtcnn_ncnn
下滑查看效果图:
图像分类:
风格迁移:
目标检测:
人脸检测:
-
代码地址:
https://github.com/Tencent/ncnn
03
FaceDetection-DSFD
高精度双分支人脸检测器:DSFD,在WIDER FACE 和 FDDB数据集均取得了精度第一 (刚出来时)。
结果展示:
-
论文题目:
DSFD: Dual Shot Face Detector
-
论文地址:
https://arxiv.org/abs/1810.10220
-
代码地址:
https://github.com/Tencent/FaceDetection-DSFD
04
ObjectDetection-OneStageDet
单阶段通用目标检测器:OSD
特征:
-
同时包括Yolov2和Yolov3
-
性能优
-
训练速度如 darknet 一样快
-
A lot of efficient backbones on hand
-
代码地址:
https://github.com/Tencent/ObjectDetection-OneStageDet
05
ActionDetection-DBG
一个新的统一动作检测框架:DBG,性能优于最先进的动作检测器 BSN 和 BMN。2019 年 ActivityNet 挑战赛,Temporal Action 提案排名第一。
-
论文题目:
Fast Learning of Temporal Action Proposal via Dense Boundary Generator
-
论文地址:
https://arxiv.org/abs/1911.04127
-
代码地址:
https://github.com/Tencent/ActionDetection-DBG
06
FaceAttribute-FAN
-
论文题目:
Harnessing Synthesized Abstraction Images to Improve Facial Attribute Recognition
-
论文地址:
https://www.ijcai.org/Proceedings/2018/0102.pdf
-
代码地址:
https://github.com/TencentYoutuResearch/FaceAttribute-FAN
07
FaceAlignment-FHR
基于高分辨率视频的人脸对齐算法:Fractional Heatmap Regression (FHR) ,
-
论文题目:
Towards Highly Accurate and Stable Face Alignment for High-Resolution Video
-
论文地址:
https://arxiv.org/abs/1811.00342
-
代码地址:
https://github.com/TencentYoutuResearch/FaceAlignment-FHR
编辑:OpenCV中文网
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~