(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210362927.4 (22)申请日 2022.04.08 (71)申请人 上海东普信息科技有限公司 地址 201707 上海市青浦区外 青松公路 5045号508室U区4 4号 (72)发明人 熊郁衍　李斯　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G08B 21/02(2006.01) (54)发明名称 分拨中心危险行为的监控方法、 装置、 设备 和存储介质 (57)摘要 本发明公开了一种分拨中心危险行为的监 控方法、 装置、 设备和存储介质， 针对采用人工 现 场监督或者人工筛选海量图像对员工进行行为 监督的方法， 成本高的问题， 通过从物流分拨中 心的监控摄像头中获取传送设备所在区域的场 景图像， 对图像进行预处理， 得到图像数据集； 基 于深度学习技术及多人姿态识别算法， 对模型进 行训练， 得到能够识别检测人体姿态的第一目标 模型； 创建语义分割模型， 对模型进行训练， 得到 能够识别传 送设备轮廓位置的第二目标模型； 将 第一目标模 型与第二目标模型合并， 得到目标识 别模型； 将该识别模型用于指示物 流分拨中心工 作人员的危险行为， 可大大提高监控 人员的工作 效率， 降低人工现场监督 或者人工筛选海量图像 产生的人力成本 。 权利要求书2页 说明书10页 附图3页 CN 114758294 A 2022.07.15 CN 114758294 A 1.一种分拨中心危险行为的监控方法， 其特 征在于， 包括： 从物流分拨中心的监控摄像头 中获取传送设备所在区域的场景图像， 对图像进行预处 理， 以使每张图像可 标记人体关节点 位置及传送设备轮廓位置， 得到图像数据集； 创建初始训练模型， 基于深度学习技术及多人姿态识别算法， 采用图像数据集对模型 进行训练， 得到能够识别检测工作人员身体关节点 位置的第一目标模型； 创建语义分割模型， 采用图像数据集对模型进行训练， 得到能够识别传送设备轮廓位 置的第二目标模型； 将训练后的第 一目标模型与第 二目标模型合并， 得到能够判断工作 人员身体关节点位 置与传送设备轮廓位置之间的相对关系的识别模型； 将识别模型用于指示物流分拨中心传送设备所在区域的工作 人员的危险行为， 当工作 人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险行为时， 识别模 型输出报警信息， 提 示工作人员操作不 规范。 2.如权利要求1所述的分拨中心危险行为的监控方法， 其特征在于， 所述基于深度 学习 技术及多人姿态 识别算法， 采用图像数据集对 模型进行训练进一 步包括： 采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的 亲和区域； 将所述热力图的峰值作为关节点的位置， 将关节点相互连接， 构成二分图； 根据关节点之间的亲和区域， 对二分图进行稀疏调节后， 进行最优化， 实现多人姿态的 估计。 3.如权利要求2所述的分拨中心危险行为的监控方法， 其特征在于， 所述采用深度神经 网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的亲和区域进一步包 括： 采用VGG‑19模型对输入图像进行 特征提取， 作为深度神经网络的输入特 征； 深度神经网络对输入特征采用3 ×3大小的卷积核连续进行三次卷积后， 用1 ×1大小的 卷积核连续进行两次卷积， 输出初步的预测结果； 深度神经网络将初步的测试结果与输入特征进行融合后， 采用7 ×7大小的卷积核连续 进行五次卷积操作， 再采用1 ×1大小的卷积核连续两次卷积操作， 输出关节点热力图和关 节点亲和区域。 4.如权利要求2所述的分拨中心危险行为的监控方法， 其特征在于， 所述对二分图进行 稀疏调节后， 进行最优化， 实现多人姿态的估计进一 步包括： 剔除二分图中跨关节点之间的连接， 得到稀疏二分图； 根据人体肢体将稀疏后的二分图进行拆解， 得到多个简化 二分图； 将二分图的整体优化转化为对各个简化二分图进行最优化， 以使所有简化二分图的权 重之和达 到最大； 将优化后的各个简化 二分图中共同的关节点进行整合， 得到多人姿态的估计。 5.如权利要求1所述的分拨中心危险行为的监控方法， 其特征在于， 所述创建语义分割 模型进一 步包括： 创建语义分割模型的编码器和解码器； 所述编码器采用Res2Net50网络和Transformer网络， 对输入图像进行特征提取， 得到权　利　要　求　书 1/2 页 2 CN 114758294 A 2特征图和特 征块； 所述解码器将特征块进行重塑尺寸后， 与特征图合并； 对合并后的特征图中感兴趣的 物体进行定位聚焦。 6.如权利要求1所述的分拨中心危险行为的监控方法， 其特征在于， 所述创建语义分割 模型， 采用图像数据集对 模型进行训练进一 步包括： 创建基于高斯 ‑拉普拉斯 算子的细节引导模块， 用于对语义分割模型进行训练。 7.一种分拨中心危险行为的监控 装置， 其特 征在于， 包括： 图像处理模块， 用于从物流分拨中心的监控摄像头 中获取传送设备所在区域的场景图 像， 对图像进 行预处理， 以使每张图像可标记人体关节点位置及传送设备轮廓位置， 得到图 像数据集； 姿态识别模块， 用于创建初始训练模型， 基于深度 学习技术及多人姿态识别算法， 采用 图像数据集对模型进行训练， 得到能够识别检测工作人员身体关节点位置的第一目标模 型； 语义分割模块， 用于创建语义分割模型， 采用图像数据集对模型进行训练， 得到能够识 别传送设备轮廓位置的第二目标模型； 合成模块， 用于将训练后的第一目标模型与第二目标模型合并， 得到能够判断工作人 员身体关节点 位置与传送设备轮廓位置之间的相对关系的识别模型； 监控模块， 用于将识别模型用于指示物流分拨中心传送设备所在区域的工作 人员的危 险行为， 当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险 行为时， 识别模型输出报警信息， 提 示工作人员操作不 规范。 8.如权利要求7所述的分拨中心危险行为的监控装置， 其特征在于， 所述姿态识别模块 包括： 第一处理单元， 用于采用深度神经网络同时预测出输入图像中人体每个关节点的热力 图和关节点之间的亲和区域； 第二处理单元， 用于将所述热力图的峰值作为关节点的位置， 将关节点相互连接， 构 成 二分图； 第三处理单元， 用于根据关节点之间的亲和区域， 对二分图进行稀疏调节后， 进行最优 化， 实现多人姿态的估计。 9.一种分拨中心危险行为的监控设备， 其特征在于， 包括： 存储器和 处理器， 所述存储 器中存储有计算机可读指令， 所述计算机可读指令被所述处理器执行时， 使得所述处理器 执行如权利要求1至 6中任意一项所述的分拨中心危险行为的监控方法中的步骤。 10.一种存储有计算机可读指令的存储介质， 其特征在于， 所述计算机可读指令被一个 或多个处理器执行时， 使得一个或多个处理器执行如权利要求1至6中任意一项 所述的分拨 中心危险行为的监控方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114758294 A 3