(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211322667.4 (22)申请日 2022.10.27 (71)申请人 北京闪马智建科技有限公司 地址 100095 北京市海淀区温泉镇创客小 镇社区配套 商业楼15 #楼二层132号 申请人 上海闪马智能科技有限公司 　 杭州闪马智擎科技有限公司 (72)发明人 李朝光　杨德城　林亦宁　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 赵静 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06V 20/52(2022.01) (54)发明名称 行为信息的确定方法、 装置、 存储介质及电 子装置 (57)摘要 本发明实施例提供了一种行为信息的确定 方法、 装置、 存储介质及电子装置， 其中， 该方法 包括： 确定第一图像中包括的目标对象的检测框 对应的第二图像， 其中， 第一图像为对第一对象 进行拍摄所得到的图像， 目标对象为第一对象关 联的对象； 将第二图像输入至目标网络模型， 确 定目标对象的属性信息； 基于属性信息以及第二 图像的数量确定第一对象的行为信息通过本发 明， 解决了相关技术中存在的确定行为信息不准 确的问题， 达到提高确定行为信息准确率的效 果。 权利要求书2页 说明书9页 附图5页 CN 115375978 A 2022.11.22 CN 115375978 A 1.一种行为信息的确定方法， 其特 征在于， 包括： 确定第一图像中包括的目标对象的检测框对应的第二图像， 其中， 所述第一图像为对 第一对象进行拍摄所 得到的图像， 所述目标对象为所述第一对象关联的对象； 将第二图像输入至目标网络模型， 确定所述目标对象的属性信 息， 其中， 所述目标网络 模型是通过如下方式训练得到的： 将训练图像输入至初始网络模型中包括的第一初始子模 型， 确定所述训练图像的第一特征； 将所述训练图像输入至所述初始网络模型中包括的第 二初始子模型， 确定所述训练图像的第二特征； 基于所述第一特征以及所述第二特征确定 所述初始网络模型的第一损失值； 基于所述第一特征以及所述训练图像的标签结果确定所 述初始网络模型的第二损失值， 基于所述第一损失值以及所述第二损失值确定所述初始网 络模型的目标损失值， 基于所述 目标损失值更新所述第一初始子模型 的网络参数， 得到所 述目标网络模型， 其中， 所述第二初始子模型为预 先训练完成的模型； 基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息 。 2.根据权利要求1所述的方法， 其特征在于， 基于所述第 一特征以及所述第 二特征确定 所述初始网络模型的第一损失值包括： 基于所述第一特 征确定所述第二图像的第一空间注意力特 征图； 基于所述第二特 征确定所述第二图像的第二空间注意力特 征图； 基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失 值。 3.根据权利要求2所述的方法， 其特 征在于， 基于所述第 一特征确定所述第 二图像的第 一空间注意力特征图包括： 针对所述第 二图 像中包括的每个目标像素点， 均执行以下操作， 确定每个所述 目标像素点对应的第一空间 注意力特征： 确定所述第一特征中包括的所述 目标像素点在每个通道的第一特征值， 确定 每个所述第一特征值的绝对值， 得到多个第二特征值， 确定多个第二特征值的第一平均值， 将所述第一平均值确定为所述目标像素点的所述第一空间注意力特征； 将每个所述目标像 素点的所述空间注意力特 征构成的特 征图确定为所述第一空间注意力特 征图； 基于所述第 二特征确定所述第 二图像的第 二空间注意力特征图包括： 针对所述第 二图 像中包括的每个目标像素点， 均执行以下操作， 确定每个所述 目标像素点对应的第二空间 注意力特征： 确定所述第二特征中包括的所述 目标像素点在每个通道的第三特征值， 确定 每个所述第三特征值的绝对值， 得到多个第四特征值， 确定多个第四特征值的第二平均值， 将所述第二平均值确定为所述目标像素点的所述第二空间注意力特征； 将每个所述目标像 素点的所述第二空间注意力特 征构成的特 征图确定为所述第二空间注意力特 征图。 4.根据权利要求2所述的方法， 其特征在于， 基于所述第 一空间注意力特征图以及所述 第二空间注意力特 征图确定所述第一损失值包括： 针对所述第一特 征中包括的每 个第一子特 征均执行以下操作： 确定所述第一子特征与所述第二特征中包括的与所述第一子特征对应的第二子特征 的差值的平方， 得到多个平方值； 将所述多个平方值的和 确定为所述第一损失值。 5.根据权利要求1所述的方法， 其特征在于， 基于所述第 一损失值以及所述第 二损失值 确定所述初始网络模型的目标损失值包括：权　利　要　求　书 1/2 页 2 CN 115375978 A 2确定所述第一损失值和所述第二损失值的和值； 将所述和值确定为所述目标损失值。 6.根据权利要求1所述的方法， 其特征在于， 确定第 一图像中包括的目标对象的检测框 对应的第二图像包括： 利用检测网络模型识别所述第 一图像， 确定所述第 一图像中包括的所述目标对象的目 标区域的所述检测框； 基于所述检测框从所述第一图像中确定出 所述第二图像。 7.根据权利要求1所述的方法， 其特征在于， 基于所述属性信 息以及所述第 二图像的数 量确定所述第一对象的行为信息包括： 在所述属性信息中存在满足预定条件的目标属性信息的情况下， 和/或所述第二图像 的数量大于预定阈值的情况 下， 确定所述第一对象的行为信息为违章行为。 8.根据权利要求1所述的方法， 其特征在于， 基于所述第 一特征以及所述训练图像的标 签结果确定所述初始网络模型的第二损失值包括： 基于所述第一特 征确定预测结果； 确定以目标常数为底， 所述预测结果的对数； 确定所述对数与所述标签结果的乘积； 将所述乘积的相反数确定为所述第二损失值。 9.一种行为信息的确定装置， 其特 征在于， 包括： 第一确定模块， 用于确定第 一图像中包括的目标对象的检测框对应的第 二图像， 其中， 所述第一图像为对第一对象进 行拍摄所得到的图像， 所述目标对象为所述第一对象关联的 对象； 第二确定模块， 用于将第 二图像输入至目标网络模型， 确定所述目标对象的属性信 息， 其中， 所述 目标网络模型是通过如下方式训练得到的： 将训练图像输入至初始网络模型中 包括的第一初始子模型， 确定所述训练图像的第一特征； 将所述训练图像输入至所述初始 网络模型中包括的第二初始子模型， 确定所述训练图像的第二特征； 基于所述第一特征以 及所述第二特征确定所述初始网络模型的第一损失值； 基于所述第一特征以及所述训练图 像的标签结果确定所述初始网络模型的第二损失值， 基于所述第一损失值以及所述第二损 失值确定所述初始网络模型的目标损失值， 基于所述目标损失值更新所述第一初始子模型 的网络参数， 得到所述目标网络模型， 其中， 所述第二初始子模型为预 先训练完成的模型； 第三确定模块， 用于基于所述属性信 息以及所述第 二图像的数量确定所述第 一对象的 行为信息 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 其中， 所述计算机程序被设置为 运行时执 行所述权利要求1至8任一项中所述的方法。 11.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行所述权利要求 1至8任一项中所述的方 法。权　利　要　求　书 2/2 页 3 CN 115375978 A 3