目标检测00-10：mmdetection(Foveabox为例)-源码无死角解析（3）-头部网络bbox_head-训练过程

以下链接是个人关于mmdetection(Foveabox-目标检测框架)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 文末附带 \color{blue}{文末附带} 文末附带 公众号 − \color{blue}{公众号 -} 公众号− 海量资源。 \color{blue}{ 海量资源}。 海量资源。

目标检测00-00：mmdetection(Foveabox为例)-目录-史上最新无死角讲解

前言

通过前面的博客，我们已经知道 Foveabox 是如何构建的，在 mmdet/models/detectors/single_stage.py 中实现，主要包含如下核心部分：

        # 根据主干网网络参数构建主干网络
        self.backbone = build_backbone(backbone)
        # 如果设置了衔接网络，则构件衔接网络
        if neck is not None:
            self.neck = build_neck(neck)
        # 根据配置参数构件头部网络
        self.bbox_head = build_head(bbox_head)

经过 self.neck 网络输出的最终结果为一个列表，形状如下如下（假设网络输入图片大小为640x480）：

 [(b,256,60,80), (b,256,30,40), (b,256,15,20), (b,256,8,10), (b,256,4,5)]

下面我们就要看看 self.bbox_head ，也就是 mmdet\models\dense_heads\fovea_head.py 中的 FoveaHead 是如何对其进行处理的。

代码注释

该篇博客只讲解其训练过程，所以这里只展示其训练的相关代码注释 （稍微阅读以下注释即可，后面有代码领读） \color{red}{（稍微阅读以下注释即可，后面有代码领读）} （稍微阅读以下注释即可，后面有代码领读）：

@HEADS.register_module()
class FoveaHead(AnchorFreeHead):
    """FoveaBox: Beyond Anchor-based Object Detector
    https://arxiv.org/abs/1904.03797
    """

    def __init__(self,
                 num_classes, # 类别数目
                 in_channels, # 输入通道数

                 # 主要用box的分配任务，分配其属于那个金字塔特征图不叫合适，
                 # 查看该文件内的 _get_target_single 函数有详细的介绍，
                 base_edge_list=(16, 32, 64, 128, 256), # 对应论文中的rl（可在论文中直接搜索到）
                 # 用于Scale Assignment的判断，对应论文的[rl/η,rl·η],η默认为2
                 scale_ranges=((8, 32), (16, 64), (32, 128), (64, 256), (128,512)),

                 sigma=0.4, # 对论文中的
                 with_deform=False, # 如果设置为ture，表示使用论文中的 Aligned feature 功能
                 deform_groups=4,# 默认Aligned为四组，因为有 FPN 特征l1，l2，l3，l4 需要做 Aligned 主力
                 **kwargs):
        self.base_edge_list = base_edge_list # 边缘
        self.scale_ranges = scale_ranges # 缩放的范围，默认为((1, 64), (32, 128), (64, 256), (128, 512), (256, 2048))
        self.sigma = sigma  # 论文中的σ
        self.with_deform = with_deform # 如果设置为ture，表示使用可变卷积
        self.deform_groups = deform_groups
        super().__init__(num_classes, in_channels, **kwargs)

    def _init_layers(self): # 重写父类的_init_layers函数
        # box branch
        super()._init_reg_convs() # 调用父类的_init_reg_convs函数，构建 box branch 分支，得到self.reg_convs

        # 在论文中所有的 FPN 特征对应的 box branch 是共享权重的，所以只需要一个box branch分支
        self.conv_reg = nn.Conv2d(self.feat_channels, 4, 3, padding=1)

        # cls，如果with_deform=True，表示使用变形卷积 DCN 进行Aligned feature操作
        if not self.with_deform:
            super()._init_cls_convs() # 带哦用父类的_init_cls_convs函数，得到self.cls_convs
            self.conv_cls = nn.Conv2d(
                self.feat_channels, self.cls_out_channels, 3, padding=1)
        # 不使用父类构建的self.cls_convs
        else:
            self.cls_convs = nn.ModuleList()
            self.cls_convs.append(
                ConvModule(
                    self.feat_channels, (self.feat_channels * 4),
                    3,
                    stride=1,
                    padding=1,
                    conv_cfg=self.conv_cfg,
                    norm_cfg=self.norm_cfg,
                    bias=self.norm_cfg is None))
            self.cls_convs.append(
                ConvModule((self.feat_channels * 4), (self.feat_channels * 4),
                           1,
                           stride=1,
                           padding=0,
                           conv_cfg=self.conv_cfg,
                           norm_cfg=self.norm_cfg,
                           bias=self.norm_cfg is None))
            # 构建论文中的 Aligned feature
            self.feature_adaption = FeatureAlign(
                self.feat_channels,
                self.feat_channels,
                kernel_size=3,
                deform_groups=self.deform_groups)

            self.conv_cls = nn.Conv2d(
                int(self.feat_channels * 4),
                self.cls_out_channels,
                3,
                padding=1)

    def init_weights(self): # 进行权重初始化
        super().init_weights()
        if self.with_deform:
            self.feature_adaption.init_weights()

    def forward_single(self, x):
        """
        因为 FPN 输出五个金字塔特征图，所以该函数会被执行五次。
        假设训练的图片大小为640x480，那么次执行五该函数，其输入x的形状分别为:
        [b,256,60,80], [b,256,30,40], [b,256,15,20], [b,256,15,20], [b,256,8,10]， [b,256,4,5]
        """
        # 分别把x赋值给cls_feat，reg_feat，
        cls_feat = x
        reg_feat = x

        # 进行一一些列的卷积，然后对 box 进行预测,对应论文中的box branch
        for reg_layer in self.reg_convs:
            reg_feat = reg_layer(reg_feat)
        # 执行五次，形状分别为(假设训练的图片大小为640x480)，其中的4表示的时相对于坐标点的偏移值:
        # [b,4,60,80], [b,4,30,40], [b,4,15,20], [b,4,15,20], [b,4,8,10]， [b,4,4,5]
        bbox_pred = self.conv_reg(reg_feat)

        # 使用 DCN 可变卷积进行论文的 Aligned feature 操作
        if self.with_deform:
            cls_feat = self.feature_adaption(cls_feat, bbox_pred.exp())
        # 对应论文中的 cls branch
        for cls_layer in self.cls_convs:
            cls_feat = cls_layer(cls_feat)

        # 执行五次，形状分别为(假设训练的图片大小为640x480)，:
        # [b,num_classes,60,80], [b,num_classes,30,40],
        # [b,num_classes,15,20], [b,num_classes,8,10]， [b,num_classes,4,5]
        cls_score = self.conv_cls(cls_feat)

        return cls_score, bbox_pred

    def _get_points_single(self, *args, **kwargs):# 根据特征图的尺寸生成坐标
        y, x = super()._get_points_single(*args, **kwargs)
        return y + 0.5, x + 0.5


    def loss(self,
             cls_scores, # 网络预测的cls的结果（包含通过五个FPN 特征图预测的结果），
             bbox_preds, # # 网络预测的box的结果（包含通过五个FPN 特征图预测的结果），
             gt_bbox_list, # box 的 ground truth，该为一个列表，列表的每一项包含一张图像中的所有box
             gt_label_list, # cls 的 ground truth，该为一个列表，列表的每一项包含一张图像中box所属于的类别
             img_metas, # 保存了图像的信息，如图像路径，原图大小，缩放后的大小，pad之后的形状，正则化配置，缩放因子等等
             gt_bboxes_ignore=None): # 本人调试时为空
        # 检测box 和 cls 个数是否相同，不同则报错
        assert len(cls_scores) == len(bbox_preds)

        # 根据cls_scores的形状，推算出特征图的大小为:[[60,80],[30,40],[15,20],[8,10],[4,5]]
        featmap_sizes = [featmap.size()[-2:] for featmap in cls_scores]
        # 根据特征图的大小，获得每个特征的坐标，形状为[[60,80],[30,40],[15,20],[8,10],[4,5]] * 2
        # 包含了x,y坐标，可以把特征图看着网格，points表示这些网格的坐标
        points = self.get_points(featmap_sizes, bbox_preds[0].dtype,
                                 bbox_preds[0].device)
        # 获得图片的数目，与batch_size相等
        num_imgs = cls_scores[0].size(0)

        # ===============处理网络预测的结果=============================
        # 循环对cls_scores进行处理，形状由：
        # [b,num_classes,60,80], [b,num_classes,30,40],[b,num_classes,15,20], [b,num_classes,8,10]， [b,num_classes,4,5]
        # 改变成:
        # [b,60,80,num_classes], [b,30,40,num_classes],[b,15,20,num_classes], [b,8,10,num_classes]， [b,4,5,num_classes]
        flatten_cls_scores = [
            cls_score.permute(0, 2, 3, 1).reshape(-1, self.cls_out_channels)
            for cls_score in cls_scores
        ]
        # 同理，[[b,4,60,80]......] --> [[b,60,80,4]......]
        flatten_bbox_preds = [
            bbox_pred.permute(0, 2, 3, 1).reshape(-1, 4)
            for bbox_pred in bbox_preds
        ]
        # 然后把他们垂直连接起来，形状为[-1,num_classes]
        flatten_cls_scores = torch.cat(flatten_cls_scores)
        # 然后把他们垂直连接起来，形状为[-1,4]
        flatten_bbox_preds = torch.cat(flatten_bbox_preds)


        # ===============处理获得grund truch=============================
        # 把gt_bbox_list，gt_label_list转换成tensor形式，其形状分别为
        # [-1,num_classes]，形状为[-1,4], 这里的-1表示随着输入图像的变换而变化
        flatten_labels, flatten_bbox_targets = self.get_targets(
            gt_bbox_list, gt_label_list, featmap_sizes, points)



        # FG cat_id: [0, num_classes -1], BG cat_id: num_classes
        # 获得被赋值成Rpos（Fig3的Positive区域）的索引，这里剔除了背景类。即不对背景类进行box的回归优化
        pos_inds = (
            (flatten_labels >= 0)
            & (flatten_labels  0:
            # 根据索引，获得网络预测 Rpos（Fig3的Positive区域）的 box 偏移值
            pos_bbox_preds = flatten_bbox_preds[pos_inds]
            # 根据索引，获得网络预测 Rpos（Fig3的Positive区域）的 box 偏移值
            pos_bbox_targets = flatten_bbox_targets[pos_inds]
            # Rpos（Fig3的Positive区域）的权重设置为1
            pos_weights = pos_bbox_targets.new_zeros(
                pos_bbox_targets.size()) + 1.0
            # 进行loos计算，
            loss_bbox = self.loss_bbox(
                pos_bbox_preds,
                pos_bbox_targets,
                pos_weights,
                avg_factor=num_pos)
        else:
            # 本人在调试过程中，该代码基本没有运行，主要是因为和len(hit_indices) == 0的判断已经重复了
            loss_bbox = torch.tensor(
                0,
                dtype=flatten_bbox_preds.dtype,
                device=flatten_bbox_preds.device)

        return dict(loss_cls=loss_cls, loss_bbox=loss_bbox)

    def get_targets(self, gt_bbox_list, gt_label_list, featmap_sizes, points):
        """
        :param gt_bbox_list: 该个batch所有图像对应的box信息
        :param gt_label_list: 该个batch所有图像box对应的cls信息
        :param featmap_sizes: 5个特征图大小，默认为[[60,80],[30,40],[15,20],[8,10],[4,5]]
        :param points: 包含了5个特征图像素对应的坐标位置
        :return:
        """
        # 循环 batch_size 次执行self._get_target_single函数，
        # 为每张图像生成特征图对应的box，cls标签
        label_list, bbox_target_list = multi_apply(
            self._get_target_single,
            gt_bbox_list,
            gt_label_list,
            featmap_size_list=featmap_sizes,
            point_list=points)

        # 把所有特征图对应的label cls进行扁平处理，形状为[b,n]（包含一个batch）
        flatten_labels = [
            torch.cat([
                labels_level_img.flatten() for labels_level_img in labels_level
            ]) for labels_level in zip(*label_list)
        ]
        # 把所有特征图对应的box进行扁平处理，形状为[b,n,4]包含一个batch）
        flatten_bbox_targets = [
            torch.cat([
                bbox_targets_level_img.reshape(-1, 4)
                for bbox_targets_level_img in bbox_targets_level
            ]) for bbox_targets_level in zip(*bbox_target_list)
        ]
        # [b,n]-->[b*n]
        flatten_labels = torch.cat(flatten_labels)
        # [b,n,4]-->[b*n,4]
        flatten_bbox_targets = torch.cat(flatten_bbox_targets)
        return flatten_labels, flatten_bbox_targets

    def _get_target_single(self,
                           gt_bboxes_raw, # 输入图像对应的box
                           gt_labels_raw, # 输入图像box对应的cls标签
                           featmap_size_list=None, # 包含5个特征图的大小
                           point_list=None): # 包含5ge特征图每个像素的坐标

        # 获得box的面积（开根号之后的）
        gt_areas = torch.sqrt((gt_bboxes_raw[:, 2] - gt_bboxes_raw[:, 0]) *
                              (gt_bboxes_raw[:, 3] - gt_bboxes_raw[:, 1]))

        # 记录一张图片的所有特征的 target  label 类别信息
        label_list = []
        # 记录一张图片的所有特征的 target  box 的 tx1，ty1, tx2，ty2,（论文的公式4） 的信息
        bbox_target_list = []
        # for each pyramid, find the cls and box target
        # 为每个金字塔特征生成对应的 target cls，target box
        # self.base_edge_list 默认为 [16, 32, 64, 128, 256]，对应论文中的rl
        # self.scale_ranges   默认为被覆盖为 ((1, 64), (32, 128), (64, 256), (128, 512), (256, 2048))
        # self.strides 默认为被覆盖为[8, 16, 32, 64, 128],
        # featmap_size_list 默认形状为为 [[60,80],[30,40],[15,20],[8,10],[4,5]]
        for base_len, (lower_bound, upper_bound), stride, featmap_size, \
            (y, x) in zip(self.base_edge_list, self.scale_ranges,
                          self.strides, featmap_size_list, point_list):

            # FG cat_id: [0, num_classes -1], BG cat_id: num_classes
            # 创建一个featmap_size大小的labels，全部都赋值成背景类
            labels = gt_labels_raw.new_zeros(featmap_size) + self.num_classes
            # 创建一个featmap_size大小的 box target,
            # 形状为(featmap_size[0], featmap_size[1],4)，初始化所有的值填充为1
            bbox_targets = gt_bboxes_raw.new(featmap_size[0], featmap_size[1],
                                             4) + 1

            # 论文中的scale assignment，缩放分配。也就是一个box，其应该属于那个特征图最合适
            # 如果gt_areas在当前金字塔特征的[lower_bound, upper_bound]之间，
            # 说明使用该特征图对其进行预测是合理的，一张图片中可能存在多个box，所以hit_indices可能存在多个值
            # 并且hit_indices记录的是box的索引
            hit_indices = ((gt_areas >= lower_bound) &
                           (gt_areas