(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221047316 6.X (22)申请日 2022.04.29 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 黄浪　游山　王飞　钱晨　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 10/74(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01)G06V 10/40(2022.01) G06V 20/70(2022.01) (54)发明名称 图像处理及目标检测方法、 装置、 设备及存 储介质 (57)摘要 本公开提供了一种图像处理及目标检测方 法、 装置、 设备及存储介质， 其中， 该方法包括： 获 取原始图像； 对原始图像分别进行N次增强处理， 得到对应的N幅增强图像； 针对N幅增强图像中的 每张增强图像， 利用神经网络中的骨干网络对增 强图像进行特征提取， 得到增强图像的全局图像 特征， 以及， 基于增强图像的全局图像特征确定 用于表征增强图像中的语义对象的局部图像特 征； 基于每张增强图像分别确定的全局图像特征 以及局部图像特征对神经网络进行调整。 本公开 结合全局图像特征以及局部图像特征进行网络 调整， 更好的拉近了不同增强图像的特征以及不 同增强图像中针对同一语义对象的特征， 在这种 指导下所进行自监 督学习具有更好的训练性能。 权利要求书3页 说明书12页 附图3页 CN 114782721 A 2022.07.22 CN 114782721 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取原始图像； 对所述原 始图像分别进行N次增强处 理， 得到对应的N幅增强图像， N≥2； 针对所述N幅增强图像中的每张增强图像， 利用神经网络中的骨干网络对所述增强图 像进行特征提取， 得到所述增强图像的全局图像特征， 以及， 基于所述增强图像的全局图像 特征确定用于表征 所述增强图像中的语义对象的局部图像特 征； 基于至少一幅原始图像对应的所述N幅增强图像的所述全局图像特征之间的相似性关 系、 以及至少一幅原始图像对应的所述N幅增强图像的所述局部图像特征之间的相似性关 系， 对所述神经网络进行调整。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述增强图像的全局图像特征确 定用于表征 所述增强图像中的语义对象的局部图像特 征， 包括： 对所述增强图像的全局图像特征进行空间特征提取， 得到空间特征图； 所述空间特征 图的每个通道分别对应一个语义对象， 且空间特征图的每个通道包含表征各个像素点属于 对应的所述语义对象的预测概 率的概率图； 基于所述空间特征图以及所述全局图像特征， 确定用于表征所述增强图像中的语义对 象的局部图像特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述空间特征图以及所述全局图 像特征， 确定用于表征 所述增强图像中的语义对象的局部图像特 征， 包括： 针对每个语义对象， 基于所述语义对象对应的所述概率图与所述全局图像特征， 确定 用于表征 所述语义对象的局部图像特 征。 4.根据权利要求2或3所述的方法， 其特征在于， 所述基于至少一幅原始图像对应的所 述N幅增强 图像的所述全局图像特征之间的相似性关系、 以及至少一幅原始图像对应的所 述N幅增强图像的所述局部图像特 征之间的相似性关系， 对所述神经网络进行调整， 包括： 基于单幅所述原始图像对应的N幅所述增强图像的全局图像特征之间的相似性关系， 确定针对所述神经网络的第一损失； 以及基于单 幅所述原始图像对应的N幅所述增强图像的局部图像特征之间的相似性关 系， 确定针对所述神经网络的第二损失； 基于所述第一损失和所述第二损失对所述神经网络进行至少一轮参数调整。 5.根据权利要求4所述的方法， 其特征在于， 所述基于至少一幅原始图像对应的所述N 幅增强图像的所述全局图像特征之间的相似性关系、 以及至少一幅原始图像对应的所述N 幅增强图像的所述局部图像特 征之间的相似性关系， 对所述神经网络进行调整， 还 包括： 基于多幅原始图像对应的增强图像的所述全局图像特征之间的相似性关系， 确定针对 所述神经网络的第三损失； 基于多幅原始图像对应的增强图像的所述局部图像特征之间的相似性关系， 确定针对 所述神经网络的第四损失； 所述基于所述第一损失和所述第二损失对所述神经网络进行至少一轮参数调整包括： 基于所述第一损 失、 所述第二损 失、 所述第三损 失和所述第 四损失对所述神经网络进 行至少一轮参数调整。 6.根据权利要求 4或5所述的方法， 其特 征在于， 所述第一损失按照如下 方式确定：权　利　要　求　书 1/3 页 2 CN 114782721 A 2对所述单幅原始图像的N幅增强图像的全局图像特征进行全局平均池化运算， 得到所 述N幅增强图像分别对应的全局平均图像特 征； 基于所述N幅增强图像分别对应的全局平均图像特征之间的相似性关系， 确定针对所 述神经网络的第一损失。 7.根据权利要求1至6任一所述的方法， 其特征在于， 每次增强处理包括如下一种或多 种： 随机裁剪、 水平反转、 颜色扰动、 灰度转 化、 高斯模糊。 8.根据权利要求1至7任一所述的方法， 其特征在于， 在对所述神经网络进行调整之后， 所述方法还 包括： 获取目标图像以及针对所述目标图像进行 逐像素点的语义类别标注得到的标注信息； 将所述目标图像输入到训练好的神经网络， 得到目标对象在所述目标图像中的检测信 息； 基于所述检测信息和所述标注信息的比对结果确定所述神经网络的图像处理性能评 估结果。 9.一种目标检测方法， 其特 征在于， 包括： 获取待检测图像； 将所述待检测图像输入到经过多轮调整的神经网络中以利用所述神经网络中的骨干 网络提取出所述待检测图像的全局图像特征， 其中， 所述神经网络基于如权利要求1至8任 一项所述的图像处 理方法进行 所述多轮调整； 基于所述全局图像特 征确定针对所述待检测图像的目标检测结果。 10.一种图像处 理装置， 其特 征在于， 包括： 获取模块， 用于获取原 始图像； 处理模块， 用于对所述原始图像分别进行N次增 强处理， 得到对应的N幅增 强图像， N≥ 2； 确定模块， 用于针对所述N幅增强图像中的每张增强图像， 利用神经网络 中的骨干网络 对所述增强图像进 行特征提取， 得到所述增强图像的全局图像特征， 以及， 基于所述增强图 像的全局图像特 征确定用于表征 所述增强图像中的语义对象的局部图像特 征； 调整模块， 用于基于至少一幅原始图像对应的所述N幅增强图像的所述全局图像特征 之间的相似性关系、 以及至少一幅原始图像对应的所述N幅增强 图像的所述局部图像特征 之间的相似性关系， 对所述神经网络进行调整。 11.一种目标检测装置， 其特 征在于， 包括： 获取模块， 用于获取待检测图像； 确定模块， 用于将所述待检测图像输入到经过多轮调 整的神经网络 中以利用所述神经 网络中的骨干网络提取出所述待检测图像的全局图像特征， 其中， 所述神经网络基于如权 利要求1至8任一项所述的图像处 理方法进行 所述多轮调整； 检测模块， 用于基于所述全局图像特 征确定针对所述待检测图像的目标检测结果。 12.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总 线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至8任一所述的图像处理权　利　要　求　书 2/3 页 3 CN 114782721 A 3