(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370778.6 (22)申请日 2022.04.11 (71)申请人 东南大学 地址 211100 江苏省南京市江宁区东 南大 学路2号 (72)发明人 刘庭煜　倪中华　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 曹婷 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) (54)发明名称 一种生产行为数字 孪生模型的构建方法 (57)摘要 本发明公开了一种生产行为数字孪生模型 的构建方法， 涉及安防管控技术领域， 解决了生 产行为中人体行为和关键资源的管控不够完整 且效率不高的技术问题， 其技术方案要点是通过 构建视觉传感 网络、 训练人员行为识别模型和物 料种类识别模型， 从而构建人员、 物料的数字孪 生模型， 为实现物理世界和信息世界智能互联与 交互融合提供一种有效参考。 能够实现无需人工 参与， 即可管控车间人员， 实时获取员工动态位 置、 行为信息， 并可实时获取目标区域内的物料 种类以及摆放情况， 如有异常立 即采取相应管理 措施， 达到无人化监控。 权利要求书2页 说明书5页 附图2页 CN 114898285 A 2022.08.12 CN 114898285 A 1.一种生产行为数字 孪生模型的构建方法， 其特 征在于， 包括： S1： 在生产区域内构建视觉传感网络， 所述视觉传感网络包括深度视觉传感器和摄像 头； S2： 摄像头采集RGB图像， 对摄像头所监管区域进行标定和目标区域划分， 构建目标检 测网络， 然后通过所述 目标检测网络对目标区域内的关键制 造资源进行识别与分类， 得到 关键制造资源的识别分类结果和像素坐标， 所述像素坐标根据宏 观映射关系f1得到关键制 造资源的物理世界坐标； S3： 通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据， 对骨架关 节点坐标数据进行二次处理， 得到由骨架关节点间的夹角和距离值组成的特征向量 Features； S4： 使用标准化重构方法对所述特征向量Features进行归一化处理， 得到人体行为的 时空特征灰度图像； 构建行为识别模型， 通过所述行为识别模型对所述时空特征灰度图像 进行时空域的行为识别， 得到行为识别结果； S5： 根据微观映射关系f2， 对人体骨架关节点坐标数据进行处理， 将每个骨架关节点的 坐标从相 机坐标系转换为世界坐标系， 得到生产人员物理世界坐标， 所述生产人员物理世 界坐标结合所述行为识别结果即生产行为的微观 表述； S6： 将所述关键制造资源的物理世界坐标和识别分类结果、 所述生产人员物理世界坐 标和所述行为识别结果作为 生产行为孪生数据构建数字 孪生模型。 2.如权利要求1所述的构建方法， 其特征在于， 所述步骤S2中， 所述对摄像头所监管的 区域进行 标定和目标区域划分包括： S211： 将黑白棋盘 格标定板放到摄 像头成像区域内， 从摄 像头中获取 标定图片； S212： 通过张正友标定法进行摄 像头标定， 得到摄 像头内外参数； S213： 根据摄 像头内外参数对摄 像头采集的生产场景内的RGB图像进行矫 正； S214： 对矫 正后的RGB图像进行目标区域划分。 3.如权利要求2所述的构建方法， 其特征在于， 所述步骤S2中， 所述通过目标检测网络 对目标区域内的关键制造资源进 行识别与分类， 得到关键制造 资源的识别分类结果和像素 坐标， 包括： S221： 对矫正后的RGB图像中目标区域内的物体进行人工标记， 得到标记后图像， 对标 记后图像的RGB三 通道像素值都进行归一 化， 得到归一 化图像； S222： 将归一化图像投入到目标检测网络中训练直至模型收敛， 得到收敛后的目标检 测网络； S223： 通过收敛后的目标检测网络对来自多摄像头的视频帧图像进行关键制造资源的 识别与分类， 得到关键制造资源的识别分类结果和对应的像素坐标。 4.如权利要 求3所述的构建方法， 其特征在于， 所述步骤S2中， 所述宏观映射 关系f1的计 算步骤包括： S231： 在实际生产区域 中采集二维物理坐标(x， y)， 并在对应的所述RGB图像中获取(x， y)所对应的像素坐标(u， v)； S232： 利用机器学习的多输出回归算法， 拟合所述RGB图像中目标所在的像素坐标(u， v)与实际生产区域中关键制造资源所在的物理坐标(x， y)的宏观映射关系f1。权　利　要　求　书 1/2 页 2 CN 114898285 A 25.如权利要求4所述的构建方法， 其特征在于， 所述步骤S3中， 所述通过深度视觉传感 器获取生产场景内全部人员的骨架关节点坐标数据包括： 通过深度视觉传感器的预设输出 接口获得生产场景内全部人员的骨架关节点位置信息SkeletonData ’＝{x″1， y″1， z″1， ...， x″25， y″25， z″25}。 6.如权利要求5所述的构建方法， 其特征在于， 所述步骤S4中， 所述使用标准化重构方 法对所述特 征向量Features进行归一 化处理， 得到人体行为的时空特 征灰度图像包括： S411： 获取单帧图像中骨架关节点位置信息Features ’， 则Features ’＝{α0， α1， ... α10， α11， d0， d1， ...d6， d7}； S412： 将连续多帧的骨架关节点特征向量进行拼接得到连续的骨架关节点序列行为数 据SkeletonAct ion″， 则Skelet onAction ″＝[Features ″1， Features ″2...Features ″m]T； m表 示图像的总帧数； S413： 提取Features ″i中的各元素值作为转换后图像中的像 素灰度值， 从而得到原始灰 度图像； i∈[1， m ]； S414： 通过归一化处理将原始灰度图像对应的像素值变换到0～1之间， 再将原始灰度 图像的尺寸统一调整为6 0×60， 得到人体行为的时空特 征灰度图像。 7.如权利要求6所述的构建方法， 其特征在于， 所述步骤S4中， 所述行为识别模型包括4 个级联卷积网络， 每个卷积网络的卷积核均为3 ×3， 卷积过程中的步长均为1； 每个卷积网 络通过滤波器组连接， 每个滤波器组包括最大池化层， 最后一级 卷积网络连接有2个全连接 层， 且所述全连接层使用ReLU模型作为激活函数 单元； 每一级卷积网络的输入为每 个卷积核中像素值 最大的矩形区域； 所述行为识别模型的损失函数为多类对数损失函数， 且所述行为识别模型使用去均值 方法提高模型收敛速度。 8.如权利要求7所述的构建方法， 其特征在于， 所述步骤S5中， 所述根据微观映射关系 f2， 对人体骨架关节点坐标数据进行处理， 将每个骨架关节点的坐标从相机坐标系转换为 世界坐标系， 包括： S511： 在实际生产区域中规定世界坐标系原点， 测量得到深度视觉传感器在世界坐标 系中的坐标值(x， y， z)； S512： 利用深度视觉传感器的API接口， 输入坐标值(x， y， z)， 得到深度视觉传感器相机 坐标系和世界坐标系的映射关系f2； S513： 通过微观映射关系f2将全部人员的骨架关节点的位置信息SkeletonData ’映射到 世界坐标系。 9.如权利要求8所述的构建方法， 其特 征在于， 所述 步骤S6包括： S611： 将所述关键制造资源的物理世界坐标和识别分类结果、 所述生产人员物理世界 坐标和所述行为识别结果作为孪生数据传输 到车间孪生数据服 务平台； S612： 在虚拟世界中建立 生产区域的数字 孪生模型； S613： 通过所述数字孪生模型实时获取人员孪生数据和关键制造资源孪生数据， 并动 态呈现人员的骨架模型， 形成物理车间生产区域的映射。权　利　要　求　书 2/2 页 3 CN 114898285 A 3