(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210850570.4 (22)申请日 2022.07.20 (65)同一申请的已公布的文献号 申请公布号 CN 114926667 A (43)申请公布日 2022.08.19 (73)专利权人 安徽炬视科技有限公司 地址 230000 安徽省合肥市高新区习友路 3333号中国声谷 孵化楼401-40 3室 (72)发明人 朱兆亚　朱吕甫　刘鸿涛　 (74)专利代理 机构 合肥禾知 知识产权代理事务 所(特殊普通 合伙) 34246 专利代理师 卢双双 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (56)对比文件 CN 113989209 A,202 2.01.28 CN 111967305 A,2020.1 1.20 CN 114697324 A,202 2.07.01 CN 111784685 A,2020.10.16 CN 113408087 A,2021.09.17 WO 2022082692 A1,202 2.04.28 审查员 陈静 (54)发明名称 基于云边端协同的图像识别方法 (57)摘要 本发明提出了基于云边端协同的图像识别 方法， 解决了常规端到端式图像检测方法， 存在 数据上传时延、 带宽需求大、 分析精度低等问题， 其主要方案包括： S1、 边端构建MobileNet检测网 络模型， 将上传图像进行前向传播计算并对应生 成锚点信息， 模型提取出最佳锚点信息并输出， 以当前图片检测到最佳锚点信息判定误判； S2、 云端构建RetinaNet检测网络模型， 对边端误判 图片复检， 以最终输出最佳锚点信息与边端模型 上传锚点信息是否一致， 对应判断边端模型是否 存在误检； S3、 边端模型将图片中误检区域对应 锚点信息提取为特征向量并通过子网络输出， 将 此特征向量与剩余判定误检图片锚点对应特征 向量进行余弦相似度匹配并判断。 权利要求书2页 说明书8页 附图3页 CN 114926667 B 2022.11.08 CN 114926667 B 1.基于云边端协同的图像识别方法， 其特 征在于包括如下步骤： S1、 边端构建MobileNet检测网络模型， 将上传图像进行前向传播计算并对应生成锚点 信息， 模型先通过子网络对锚点信息进 行预测， 再抑制提取出最佳锚点信息并输出， 以当前 图片是否检测到最佳锚点信息判定是否误判， 对误判图片与最佳锚点信息进行云端上传； S2、 云端构建RetinaNet检测网络模型， 对S1中边端上传图片复检， 以最终输出最佳锚 点信息与边端模型上传 锚点信息是否一致， 对应判断边端模型是否存在误检， 若 是， 将误判 图片标记并下发给边端； S3、 边端模型异步重新推理S2中下发图片， 将图片中误检区域对应锚点信息提取为特 征向量并通过子网络输出， 将此特征向量与剩余判定误检图片锚点对应特征向量进行余弦 相似度匹配， 判定高于相似度阈值的为 误判， 低于相似度阈值的异步上传给云端模型复检。 2.根据权利要求1所述的基于云边端协同的图像识别方法， 其特征在于所述云端模型 构建步骤如下： 构建主干网络ResNet5 0残差网络； 使用特征金字塔网络FPN通过自下而上、 自上而下以及横向连接将ResNet50不同特征 层进行融合， 对应生成特 征图； 对特征图对应锚点尺寸加入不同尺寸， 赋予每个锚点长度为K的one ‑hot向量和长度为 4的向量， 其中K为待检测目标的类别数、 4 为box的坐标、 I oU大于0.5的锚点视为 正样本； 构建子网络， 包括用以预测目标出现概率的分类子网络、 用于预测锚点生成候选区域 坐标偏移量的边框子网络， 其中分类子网络损失函数通过Cr ossEntropy Loss计算、 边框子 网络损失函数通过Smo oth L1 Loss计算。 3.根据权利要求1或2所述的基于云边端协同的图像识别方法， 其特征在于所述边端模 型构建步骤如下： 依次构建1 ‑10层卷积神经网络， 其中第1、 2层通过卷积核大小为3的二维卷积降维， 第 3、 4、 5、 7、 9层为逆残差卷积层， 第6、 8、 10层为引入空间注意力机制的逆残差卷积层； 使用特征金字塔 网络FPN通过自下而上、 自上而下以及横向连接将MobileNet不同特征 层进行融合， 对应生成特 征图； 对特征图对应锚点尺寸加入不同尺寸， 赋予每个锚点长度为K的one ‑hot向量和长度为 4的向量， 其中K为待检测目标的类别数、 4 为box的坐标、 I oU大于0.5的锚点视为 正样本； 构建子网络， 包括分类子网络、 回归子网络与全连接子网络， 其中分类子网络、 回归子 网络及对应损失函数以云端模型为基础、 全连接 子网络损失函数基于softmax  loss计算。 4.根据权利要求2所述的基于云边端协同的图像识别方法， 其特征在于： 所述 CrossEntropy Loss损失函数定义如下： 其中， 式中N是样本数量， C是待 检测目标的类别数量， 是第i个样本是否属于第c类的 标签信息， 是属于第c类， 值为1， 否则为0， 为超参数， 是第i个样本预测属于第c类的 置信度，权　利　要　求　书 1/2 页 2 CN 114926667 B 2定义 为第 个预测区域与锚点参考区域相对位置的坐标向量 ， 为第i 个目标真实区域与锚点 参考区域相对位置的坐标向量 ， 其中， 表示中心坐标; 表示区域边框高和宽; 分别表示预测区 域、 锚点、 人工标注区的真实区域中心横坐标； 分别表示预测区域、 锚点、 人工标 注区域的真实区域中心纵坐标， 所述Smooth L1 Loss损失函数定义如下：  。 5.根据权利要求1所述的基于云边端协同的图像识别方法， 其特征在于所述余弦相似 度匹配计算公式如下： 其中， 为误检区域对应锚点信息的特征向量， 为边端模型中剩余判定为误检图片锚 点对应的特 征向量。权　利　要　求　书 2/2 页 3 CN 114926667 B 3