(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210674635.4 (22)申请日 2022.06.15 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 申请人 福建医科 大学附属协和医院 (72)发明人 陈飞　李星源　王波　赵文新　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) (54)发明名称 基于集群框融合的目标检测方法 (57)摘要 本发明涉及一种基于集群框融合的目标检 测方法。 该方法， 首先建立数据集， 然后使用特征 提取网络对输入的数据集进行特征提取， 得到特 征图； 然后将特征图输入到后续的分类、 边界回 归网络中， 得到网络输出的预测框； 在后处理阶 段， 利用这些预测框聚集的特征， 先进行簇划分 并过滤部分簇； 然后在簇内预测聚类中心个数， 并设置初始聚类中心、 距离函数， 然后在簇内进 行聚类， 聚类后的聚类中心可以很好地描述这一 片区域预测框聚集的情况； 最后， 将相似度较高 的聚类中心进行融合， 并删除一些聚类中心， 得 到最终的预测框。 本发明充分利用到了模型输出 的每一个预测框， 并根据这些预测框的聚集程度 得到最终修正后的预测框， 可以有效提高模型的 召回率和精确率。 权利要求书3页 说明书5页 附图2页 CN 115170913 A 2022.10.11 CN 115170913 A 1.一种基于集群框融合的目标检测方法， 其特 征在于， 包括如下步骤： 步骤S1、 数据集的获取： 针对不同的任务需要建立不同的数据集， 数据集由包含或不包 含目标的图片及目标 标注信息构成； 步骤S2、 对数据集进行 预处理； 步骤S3、 使用特征提取网络对数据集进行特征提取， 得到特征图， 然后在特征图上生成 一系列锚框， 这些锚框在通过分类、 边界回归网络后得到预测框； 步骤S4、 对预测框类别进行划分， 然后在每一个预测框类别中对预测框进行簇的划分； 步骤S5、 滤除不 合法的簇， 簇的合法性 通过簇中预测框的聚集度和可信度描述； 步骤S6、 在簇中使用聚类算法进行 预测框聚类； 步骤S7、 对聚类后的聚类中心进行融合 修正； 步骤S8、 对聚类后得到的聚类 中心， 相似度较高的进行融合， 相似度较低的则删除其中 可信度较低的聚类中心， 最后得到的聚类中心作为 最终的预测框 。 2.根据权利要求1所述的基于集群框融合的目标检测方法， 其特征在于， 所述步骤S4， 利用矩形框之间的交并比对预测框进行簇的划分， 具体方式为： 将同一个类别的预测框都放入集合S中， 如果集合S中预测框的数量大于零， 则往后执 行， 否则步骤S4结束； 取集合S中分类得分最大的预测框， 记为boxmax； 计算集合S中boxmax与集合S中剩余预测 框的交并比； 将交并比大于阈值的预测 框及boxmax都归于一个簇bunchi， 并保存簇bunchi； 这里的阈 值用来定义 不同簇之间的距离， 该值越小， 则最终簇的数量越少， 簇之间的交集越小； 在集合S中删除簇bunchi， 如果集合S中预测框的数量大于零， 则重复执行上述步骤， 否 则步骤S4结束。 3.根据权利要求1所述的基于集群框 融合的目标检测方法， 其特征在于， 所述步骤S5具 体实现方式为： 在步骤S4中将得到一个簇集合[bunch0, bunch1, ..., bunchn‑1]， n为簇集合中簇的数 量， 每一个簇 中包含有多个预测框box=[x1,  y1, x2, y2, score]， 其中， （x1,  y1） 为预测 框的左上角坐标， （x2,  y2） 为预测框的右下角坐标， score为预测框的分类得分； 簇集合中 含有最大预测框数量的簇记为bunchmax， bunchmax中最大的分类得分记为scoremax， bunchmax 中预测框的数量记为countmax； 遍历簇集 合中所有的簇并删除满足以下 条件的簇： 记当前的簇为bunchi， bunchi中最大的分类得分记为scorei， bunchi中预测框的数量记 为counti， i∈[1， n]； 与bunchmax分类得分差距过大的簇， 即： scoremax  ‑ scorei的值大于阈值thr1， 其中阈值 thr1用于衡量当前簇bunchi与bunchmax的分类得分差距是否过大， 阈值thr1设置得越高， 被 过滤的簇会 越少， 保留下来的预测框将越多； 与bunchmax中预测框数量差距过大的簇， 即： (countmax  ‑ counti) / countmax的值大于 阈值thr2， 其中阈值thr2用于衡量当前簇bunchi与bunchmax中预测框数量差距是否过大， 阈 值设置得越高， 被过 滤的簇会 越少， 保留下来的预测框将越多。 4.根据权利要求1所述的基于集群框 融合的目标检测方法， 其特征在于， 所述步骤S6具权　利　要　求　书 1/3 页 2 CN 115170913 A 2体实现方式为： 在对簇进行k ‑means聚类之前， 需要先 预测聚类中心的个数， 预测步骤如下： 步骤S61、 设置聚类中心个数count初始值为0， 将簇中的预测框都放入集合S中， 如果集 合S中预测框的数量大于零， 则执 行步骤S62， 否则返回count的值作为聚类中心的个数； 步骤S62、 取集合S中分类得分最大的预测框， 记为boxmax； 计算集合S中boxmax与集合S中 剩余预测框的交并比， 将count的数值加一； 步骤S63、 将交并比大于阈值的预测框及boxmax都删除； 这里的阈值用来表示可能聚成 同一个集群的框之间的交并 比， 该值越小， 则聚类中心的个数越少， 最终预测框的数量越 少； 步骤S64、 如果count的数值大于等于3， 则返回3作为聚类中心的个数， 否则执行步骤 S62； 步骤S65、 根据聚类中心的个数count设置初始聚类中心， 具体为： 记簇中最大分类得分对应的预测框为boxmax， 最小分类得分对应的预测框为boxmin； 1)如果聚类中心个数为1， 那么初始聚类中心设置为[boxmax]； 2)如果聚类中心个数为2， 那么初始聚类中心设置为[boxmax, boxmin]； 3)如果聚类中心个数为3， 计算boxmid=(boxmax + boxmin) / 2.0， 那么初始聚类中心设 置为[boxmax, boxmid, boxmin]； 步骤S66、 使用聚类中心个数和初始聚类中心进行k ‑means聚类， 得到多个预测框集群 及对应预测框集群的聚类中心。 5.根据权利要求1所述的基于集群框 融合的目标检测方法， 其特征在于， 所述步骤S7可 选择不执行， 直接跳到步骤S8， 或采用Solovyev  Roman方法对聚类后的聚类中心进行融合 修正。 6.根据权利要求5所述的基于集群框 融合的目标检测方法， 其特征在于， 所述步骤S7还 可采用如下 方法实现： 步骤S71、 选择聚类中心作为基础框baseBox； 在该聚类中心对应的预测框集群中选择 与基础框较为相似， 且分类得分也较高的框放入集合S中； 其中相似度定义为： similar ity= 1‑IOU(box1,  box2)， 其中IOU为两个预测框的交并比， box1、 box2为集合S中任意两个预测 框； 步骤S71、 根据以下公式计算得到新的聚类中心b ox， 其中xi为集合S中的第i个预测框， scorei为第i个预测框对应的分类得分， n 为集合S中预测框数量： 。 7.根据权利要求3所述的基于集群框 融合的目标检测方法， 其特征在于， 所述步骤S8具 体实现方式为： 步骤S81、 记两个聚类中心分别为center1， center2； 计算两个聚类中心的相 似度， 相似 度定义为similarity=IOU(center1, center2)， 其中IOU为两个预测框的交并比， 即两个预 测框交集 面积和并集 面积的比值； 步骤S82、 如果两个聚类中心的相似度小于阈值， 那么将两个聚类中心进行合并， 合并 后的中心为center=(center1+center2) / 2.0；权　利　要　求　书 2/3 页 3 CN 115170913 A 3