(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864923.6 (22)申请日 2022.07.21 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 王冰路　同磊　肖创柏　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/40(2022.01) G06T 7/60(2017.01) G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/766(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于旋转的CenterNet 2目标检测方法 (57)摘要 本发明公开了一种基于旋转的CenterNet2 目标检测方法， 设计基于C enterNet2的旋转角度 检测分支； C enterNet2网络是两阶段的无锚框目 标检测算法， 通过第一阶段检测得到热力特征图 heatmap和边框回归特征图， 通过热力图获取目 标的中心点大致位置， 通过热力图上目标中心点 的索引从边框特征图中获取该目标的边框大小， 进而获取目标中心点坐标和其边界框的宽高。 本 发明构建基于C enterNet2的旋转角度检测分支， 在CenterNet2的一阶段检测模块中新增一个角 度回归分支， 用于回归每个目标的旋转角度。 利 用其多尺度融合的特征金字塔结构， 对特征金字 塔模块的多个尺度的输出特征图， 均增加一个角 度回归分支， 并且和对应尺度下的热力图像对 齐， 形成基于多尺度的旋转角度回归分支， 进一 步提升了角度回归的精度。 权利要求书4页 说明书8页 附图3页 CN 115187786 A 2022.10.14 CN 115187786 A 1.一种基于 旋转的CenterNet 2目标检测方法， 其特 征在于： 包 含两个部分： 第一部分是设计 基于CenterNet 2的旋转角度检测分支； CenterNet2网络是两阶段的无锚框目标检测算法， 通过第一阶段检测得到热力特征图 heatmap和边框回归 特征图， 通过热力图获取目标的中心点大致位置， 通过热力图上目标中 心点的索引从边框特征图中获取该目标的边框大小， 进而获取目标中心 点坐标和其边界框 的宽高； 在第一阶段检测过程中， 新增目标的旋转角度预测模块， 即在Center Net2的主干特 征提取网络的末 尾新增一个角度回归分支， 通过卷积操作生成一个与热力图对齐的角度回 归特征图， 通过目标 的中心点索引从角度回归特征图中获取目标 的旋转角度值； 在第一阶 段预测建议框Propo sals的同时， 预测出每个Propo sal的边框旋转角度Angle∈[0,180)， 以 y坐标轴正方向为0度， 沿顺时针旋转至y坐标轴负方向为180度， 然后 建议框在第二阶段进 一步分类和提升边框回归精度后， 最后结合旋转角度进行输出； S2.设计基于多尺度的旋转角度检测分支； CenterNet2网络为了兼顾不同尺度的待检测目标， 采用特征金字塔结构FPN， 以此融合 不同下采样尺度下 的目标信息， 将旋转回归分支与特征金字塔结果相融合， 设计基于多尺 度的旋转目标检测分支， 不同尺度的特征层， 负责不同尺度目标的检测和角度回归； 对于一 阶段的每个输出分支均进行角度的预测， 并且对不同尺度输出 的角度预测进行融合， 共同 产生带有角度的Proposals； 在模 型的训练阶段， 一阶段预测的角度与真实的角度标签进 行 Loss的计算； 在 模型的推理阶段， 基于多尺度生 成的角度信息需要绑定到对应的预测框， 最 后， 类别、 边框、 角度三个目标的信息对应绑定后， 进行第二阶段的回归和类别的分类操作。 2.根据权利要求1所述的一种基于旋转的CenterNet2目标检测方法， 其特征在于： 第一 部分的实施方法包括如下步骤， 步骤1.1.主干网络； 采用Res2Net模型作为的CenterNet2的主干特征提取网络， 进行对输入图像 的特征提 取； 相Res2Net模 型的每个构建单元在原有的残差单元结构中增加小的残差块， 提升每一层 感受野大小， 利用分组卷积， 将输出 的通道维数平均分为多组， 分别进行卷积， 最后输出结 果在通道维度进行堆叠， 在不增 加模型计算 量的基础下捕获更多的细节和全局特性； 在Res2Net模型中采用可变性卷积； 对于规则的感受域的偏移量参数R可用公式(1)表 示， 当遇到有不同形状的目标时,可以通过学习每个位置的偏移 量,调整卷积操作在特征图 中的运算位置； R＝{(‑1,‑1),(‑1,0),…,(0,1),(1,1)} 式(1) 卷积核实 际进行卷积运算时， 运算位置可离散的分布在特征图上的多个位置， 以适应 不同形状目标的特 征提取， 增强模型的特 征提取能力； 步骤1.2.特 征金字塔网络； 特征金字塔网络以主干特征提取网络的某几个下采样特征层作为输入， 采用Res2Net 的第三次、 第四次和第 五次下采样的特征图作为特征金字塔模块的输入， 将三层特征图自 底向上进行特征融合， 以增强特征图所包含的信息； 采用将第 五次下采样的输入特征再进 行两次下采样的方法， 生 成第六、 第七次下采样的特征图； 最后将第三、 四、 五、 六、 七次下采 样的特征图送入 模型的下一个阶段； 步骤1.3.CenterNet一阶段检测；权　利　要　求　书 1/4 页 2 CN 115187786 A 2CenterNet2网络在 一阶段采用CenterNet网络结构完成对目标的粗略检测， CenterNet 网络头分支包括热力图预测分支和物体边框预测分支； 在此过程中， 模型根据特征金字塔 结构输出的5个特征图， 生 成大量的建议框； 在Center Net一阶段检测头分支中， 新增角度预 测分支； 对于每个特征图， 经过卷积得到大小和输入分辨率一致的单通道特征图， 即为角度预 测结果， 且该特征图与热力图中的像素点一一对应； 根据热力图获取目标的中心 点后， 得到 该目标在热力图中的坐标索引， 通过该坐标索引在角度预测图中获取对应位置的像素值， 该像素值即为该目标的旋转角度； 步骤1.4.级联二阶段检测头分支； 级联的二阶段检测头是级联多个检测网络的模型， 通过逐步提高Proposal的交并比 IOU阈值， 从而使 得前一个检测网络重新采样过的Pr oposals能够适应下一个有 更高阈值的 检测网络； 在 级联检测阶段， 每个检测器将在上一个检测器得到的Pr oposals以及特征金字 塔输出的第三和第四次下采样特征图作为输入； 由于上一个阶段获取 的目标信息是在5个 不同尺度特征图下获得， 所以首先需要将建议框映射到第三和 第四尺度的特征图中， 其次， 根据目标的坐标信息从特征图中截取特征信息， 并将不同大小截取 的特征图进行池化， 统 一为分辨率为7 ×7的特征图， 将 每个特征图进 行展开后， 送入分类分支和边框回归分支， 进 而得到每个目标的类别信息和精调后的边框； 最后经过非极大值抑制NMS操作后， 去除冗余 的检测框， 即得到最终的带有旋转的目标框 。 3.根据权利要求1所述的一种基于旋转的CenterNet2目标检测方法， 其特征在于： 第二 部分的实施方法包括如下步骤， 步骤二、 训练基于 旋转的CenterNet 2目标检测模型； 步骤2.1.前向传播； 基于CenterNet2的两阶段目标检测， 所以一个批量batch 的图像需要先经过第一阶段 检测得到建议框， 然后将建议框映射到特征图中， 对感兴趣的区域ROI进行截取， 经过池化 操作将所有感兴趣区域调整为7 ×7的小特征图， 最后将特征图的宽高维度进行展平后， 经 过全连接操作得 出最后的分类信息和更加精确的边框回归信息； 一阶段检测器将五个特征图， 分别通过热力图检测分支、 坐标偏移分支、 宽高回归分支 以及角度回归分支， 且每个输入 特征图对应独立的四个检测分支； 根据真实目标框的大小， 将目标映射到符合当前尺度的特征层中， 由该特征层负责对物体进行预测； 当目标与热力 图进行匹配后， 会得到在多个尺度下 的全局唯一索引坐标， 根据索引坐标去获取该预测目 标的位置偏移量、 宽高回归值以及角度回归值， 进而获取建议框Proposals； 经过三个级联 阶段检测后， 最后得到每个建议框的分类结果和边框回归值， 最后根据阈值进 行过滤， 并经 过NMS对预测框进行冗余去除后， 即得到最后预测结果； 步骤2.2.损失函数； 构建模型后， 在整个网络的训练过程中， 总损失包含两个阶段的损失； 第 一阶段是一阶 段检测损失， 分为前背景的二分类损失Lcls、 边框回归损失Lbox、 角度回归损失Lang， 共三个部 分， 一阶段损失 公式表示如式(2)； Lone＝ λclsLcls+λbboxLbbox+λangLang 式(2) 其中λcls、 λbbox、 λang分别为分类损失、 边框回归损失、 角度回归损失的系数， 采用三个超权　利　要　求　书 2/4 页 3 CN 115187786 A 3