(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211175882.6 (22)申请日 2022.09.26 (71)申请人 广州高新兴机 器人有限公司 地址 510530 广东省广州市黄埔区科 学城 开创大道 2819号A6 08房 （仅限办公） (72)发明人 刘振轩　柏林　刘彪　舒海燕　 袁添厦　沈创芸　祝涛剑　王恒华　 方映峰　 (74)专利代理 机构 广州国鹏知识产权代理事务 所(普通合伙) 44511 专利代理师 周燕君 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/26(2022.01)G06V 10/46(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于机器人的边境异常人员检测方法、 装 置、 介质及机 器人 (57)摘要 本发明公开了一种基于机器人的边境异常 人员检测方法， 包括： 获取边境图像信息； 采用深 度学习目标检测网络YOLOV5对所述边境图像信 息进行人体检测， 得到所述边境图像信息中的每 个人体及其包围盒； 采用人体姿态估计算法中的 热力图方法对每个所述包围盒中的人体进行关 键点定位， 得到人体关键点及其位置信息； 采用 深度学习的方式对所述边境图像信息进行图像 分割， 得到目标地标物体； 遍历所述边境图像信 息中的每个人体， 根据所述人体关键点及其位置 信息、 目标地标物体进行分析， 获取边境异常人 员。 本发明解决了现有技术在 进行边境异常行为 检测时存在的受限于检测设备、 部署成本高、 误 检率高的问题。 权利要求书2页 说明书9页 附图2页 CN 115527165 A 2022.12.27 CN 115527165 A 1.一种基于 机器人的边 境异常人员检测方法， 其特 征在于， 所述方法包括： 获取边境图像信 息， 所述边境图像信 息由巡逻机器人在边境区域特定线路进行巡逻时 采集得到； 采用深度学习目标检测网络YOLOV5对所述边境图像信息进行人体检测， 得到所述边境 图像信息中的每 个人体及其包围盒； 采用人体姿态估计算法中的热力图方法对每个所述包围盒中的人体进行关键点定位， 得到人体关键点及其 位置信息； 采用深度学习的方式对所述 边境图像信息进行图像分割， 得到目标地标物体； 遍历所述边境图像信息中的每个人体， 根据所述人体关键点及其位置信息、 目标地标 物体进行分析， 获取边 境异常人员。 2.如权利要求1所述的基于机器人的边境异常人员检测方法， 其特征在于， 所述人体姿 态估计算法采用交错洗牌卷积神经网络S huffleNetV2作为神经网络的主干模 型， 模型降采 样倍率为2， 输入图像的长度和宽度的比例为3:1； 所述人体关键点包括头 部、 颈部、 肩膀、 手肘、 手腕、 臀部、 膝盖、 脚踝。 3.如权利要求2所述的基于机器人的边境异常人员检测方法， 其特征在于， 所述目标地 标物体为马路边 缘围栏； 所述采用深度学习的方式对所述边境图像信息进行图像分割， 得到目标地标物体包 括： 采用语义分割网络DeepLabV3对所述边境图像信息进行图像分割， 得到围栏区域二值 化图像； 从所述围栏区域 二值化图像中提取马路边 缘围栏的分割区域。 4.如权利要求3所述的基于机器人的边境异常人员检测方法， 其特征在于， 所述遍历所 述边境图像信息中的每个人体， 根据所述人体关键点及其位置信息、 目标地标物体进行分 析， 获取边 境异常人员包括： 根据所述人体关键点及其位置信息、 目标地标物体计算人体地标距离比、 人体宽度比、 人体长度比、 人体踝关节置信度、 人体弯曲角度； 若所述人体地标距离比、 人体宽度比、 人体长度比、 人体踝关节置信度、 人体弯曲角度 均满足预设条件， 则以所述人体为 跨境异常人员； 遍历所述 边境图像信息中的每 个人体， 得到所述 边境图像信息中的边 境异常人员。 5.如权利要求4所述的基于机器人的边境异常人员检测方法， 其特征在于， 所述人体地 标距离比为人体脚部到马路边缘围栏的分割区域最近点的距离与马路边缘围栏的宽度之 比； 所述人体宽度比为人体包围盒的宽度与边 境图像信息的宽度之比； 所述人体长度比为人体包围盒的长度与边 境图像信息的长度之比； 所述人体踝关节置信度为左脚踝与右脚踝的置信度分数均值； 所述人体弯曲角度为肩膀关键点和臀部关键点之间的连线与臀部关键点和脚踝关键 点之间的连线的夹角。 6.如权利要求5所述的基于机器人的边境异常人员检测方法， 其特征在于， 所述若所述 人体地标距离比、 人体宽度比、 人体长度比、 人体踝关节置信度、 人体弯曲角度均满足预设权　利　要　求　书 1/2 页 2 CN 115527165 A 2条件， 则以所述人体为 边境异常人员包括： 比较所述人体地标距离与预设的距离阈值、 人体宽度比与第一比例阈值、 人体长度比 与第二比例阈值、 人体踝关节置信度与预设的置信度阈值、 人体弯曲角度与预设的角度阈 值； 若所述人体地标距离比小于预设的距离阈值、 人体宽度比大于第一比例阈值、 人体长 度比大于第二比例阈值、 人体踝关节置信度大于预设的置信度阈值、 人体弯曲角度小于预 设的角度阈值， 则以所述人体为 边境异常人员。 7.如权利要求1至6任一项所述的基于机器人的边境异常人员 检测装置， 其特征在于， 在获取边 境异常人员之后， 所述方法还 包括： 对每帧边 境图像信息中的所述 边境异常人员分别打上对应的标签信息 。 对于同一个标签信 息对应的人体， 从人体判定为边境异常人员的首帧边境图像信 息起 算， 获取连续的若干帧边 境图像信息； 当所述连续的若干帧边境图像信息中出现所述标签信息的帧数大于或等于预设帧数 阈值， 则将所述标签信息对应的边 境异常人员设置为高置信度。 8.一种基于 机器人的边 境异常人员检测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取边境图像信息， 所述边境图像信息由巡逻机器人在边境区域特定 线路进行巡 逻时采集得到； 人体检测模块， 用于采用深度学习目标检测网络YOLOV5对所述边境图像信息进行人体 检测， 得到所述 边境图像信息中的每 个人体及其包围盒； 人体关键点定位模块， 用于采用人体姿态估计算法中的热力图方法对每个所述包围盒 中的人体进行关键点定位， 得到人体关键点及其 位置信息； 图像分割模块， 用于采用深度学习的方式对所述边境图像信息进行图像分割， 得到目 标地标物体； 分析模块， 用于遍历所述边境图像信息中的每个人体， 根据所述人体关键点及其位置 信息、 目标地标物体进行分析， 获取边 境异常人员。 9.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的基于机器人的边境 异常人员检测方法。 10.一种机器人， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7任 一项所述的基于 机器人的边 境异常人员检测方法。权　利　要　求　书 2/2 页 3 CN 115527165 A 3