(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052912.4 (22)申请日 2022.08.31 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 魏振忠　冯广堃　刘明坤　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 王爱涛 (51)Int.Cl. G01C 21/00(2006.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种物体位姿测量方法及电子设备 (57)摘要 本发明提供了一种物体位姿测量方法及电 子设备， 涉及位姿测量技术领域， 方法包括获取 物体位姿图像； 将物体位姿图像输入到目标局部 图像提取模块， 得到待测目标区域； 根据待测目 标区域裁剪物体位姿图像， 得到目标局部图像； 将目标局部图像输入到 法矢量特征预测模块， 得 到多种法矢量特征； 将目标局部图像的坐标数据 和多种位姿图像特征均输入到位姿回归模型中， 得到物体的异中心化姿态和尺度不相关位置； 本 发明通过构建目标局部图像提取模块、 法矢量特 征预测模块和位姿回归模型， 提取物体位姿单幅 图像的法矢量特征求解位姿， 能够提高位姿的确 定精度。 权利要求书3页 说明书12页 附图3页 CN 115420277 A 2022.12.02 CN 115420277 A 1.一种物体位姿测量方法， 其特 征在于， 包括： 获取物体位姿图像； 将所述物体位姿图像输入到目标局部 图像提取模块， 得到待测目标区域； 所述目标局 部图像提取模块是利用物体位姿标注历史图像， 对YOLOV3神经网络进行训练得到的； 根据所述待测目标区域裁 剪所述物体位姿图像， 得到目标局部图像； 将所述目标局部 图像输入到法矢量特征预测模块， 得到多种法矢量特征； 所述法矢量 特征包括： 静态法矢量场、 异中心化动态法矢量场、 区域注意力特征和分割掩码； 所述法矢 量特征预测模块包括训练后的轻量级ResNet ‑34骨干网络和训练后的第一卷积神经网络； 所述训练后的轻量级ResNet ‑34骨干网络和训练后的第一卷积神经网络是通过目标局部历 史图像， 以及目标局部历史图像对应的多种法矢量特 征进行训练得到的； 将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位姿回归模型中， 得到 物体的异中心化姿态和尺度不相关位置； 所述位姿回归模型是根据目标局部历史图像的坐 标数据和多种所述 位姿图像特 征， 对第二卷积神经网络进行训练得到的。 2.根据权利要求1所述的一种物体位姿测量方法， 其特征在于， 在所述获取物体位姿图 像之前， 还 包括： 获取多张物体位姿历史图像； 分别对每张物体位姿历史图像中的目标区域均进行标注， 得到多 张物体位姿标注历史 图像； 以多张物体位姿历史图像为输入， 以多 张物体位姿标注历史图像上的历史目标区域为 输出， 对YOLOV3神经网络进行训练， 得到所述目标局部图像提取模块。 3.根据权利要求1所述的一种物体位姿测量方法， 其特征在于， 所述根据 所述待测目标 区域裁剪所述物体位姿图像， 得到目标局部图像， 包括： 以所述待测目标区域的中心为中心， 以待测目标区域对应矩形框长度的预设倍数为 长， 以待测目标区域对应矩形框高度的预设倍数为高， 在所述物体位姿图像上截取矩形区 域为目标局部初始图像； 根据目标局部图像标准尺寸和目标局部初始图像的实际尺寸， 确定缩放因子； 根据所述缩放因子对所述目标局部初始图像进行缩放处 理， 得到目标局部图像。 4.根据权利要求2所述的一种物体位姿测量方法， 其特征在于， 所述将所述目标局部图 像输入到法矢量特 征预测模块， 得到多种法矢量特 征， 包括： 将所述目标局部图像输入到训练后的轻量级ResNet ‑34骨干网络， 得到深度语义特 征； 将所述深度语义特 征输入到训练后的第一卷积神经网络中， 得到多种法矢量特 征。 5.根据权利要求1所述的一种物体位姿测量方法， 其特征在于， 所述位姿回归模型包括 姿态回归神经网络和位置回归神经网络； 所述姿态回归神经网络是根据目标局部历史图像 的多种所述位姿图像特征， 对第三卷积神经网络进行训练得到的； 所述位置回归神经网络 是根据目标局部历史图像的坐标数据和多种所述位姿图像特征， 对第四卷积神经网络进 行 训练得到的； 所述第二卷积神经网络包括所述第三卷积神经网络和所述第四卷积神经网 络。 6.根据权利要求5所述的一种物体位姿测量方法， 其特征在于， 所述将目标局部图像的 坐标数据和多种所述位姿图像特征均输入到位姿回归模型中， 得到物体的异中心化姿态和权　利　要　求　书 1/3 页 2 CN 115420277 A 2尺度不相关位置， 包括： 将目标局部图像的多种所述位姿图像特征均输入到姿态回归神经网络， 得到物体的异 中心化姿态； 将目标局部图像的坐标数据和多种所述位姿图像特征均输入到位置回归神经网络， 得 到物体的尺度不相关位置 。 7.根据权利要求2所述的一种物体位姿测量方法， 其特征在于， 在所述获取物体位姿图 像之前， 还 包括： 根据所述历史目标区域裁剪所述物体位姿历史图像， 得到多张目标局部历史图像， 并 确定每张目标局部历史图像的缩放因子； 确定每个目标局部历史图像对应物体的历史异中心化姿态和历史尺度不相关位置； 确定迭代次数m＝1； 以训练前的轻量级ResNet ‑34骨干网络为第0次迭代时的轻量级ResNet ‑34骨干网络； 以训练前的第一卷积神经网络为第0次迭代时的第一卷积神经网络； 以训练前的第三卷积神经网络为第0次迭代时的第三卷积神经网络； 以训练前的第四卷积神经网络为第0次迭代时的第四卷积神经网络； 将多张所述目标局部历史图像输入到m ‑1次迭代时的轻量级ResNet ‑34骨干网络， 得到 m次迭代时的深度语义特 征和m次迭代时的轻量级ResNet ‑34骨干网络； 将m次迭代时深度语义特征输入到m ‑1次迭代时第一卷积神经网络中， 得到m次迭代时 多种初始历史法矢量特 征和m次迭代时的第一卷积神经网络； 以目标局部历史图像对应的多种初始历史法矢量特征为输入， 以历史异中心化姿态为 输出， 对m ‑1次迭代时的第三卷积神经网络进行训练， 得到m次迭代时的第三卷积神经网络； 以目标局部历史图像对应的坐标数据和多种初始历史法矢量特征为输入， 以历史尺度 不相关位置为输出， 对第四卷积神经网络进行训练， 得到m次迭代 时的第四卷积神经网络； 所述目标局部历史图像对应的坐标 数据包括目标局部历史图像的缩放因子； 计算m次迭代时的轻量级ResNet ‑34骨干网络、 m次迭代时的第一卷积神经网络、 m次迭 代时的第三卷积神经网络和m次迭代时的第四卷积神经网络的总损失函数； 判断所述总损失函数 是否小于损失阈值得到判断结果； 若所述判断结果 为否， 则令迭代次数m的数值增 加1； 更新m次迭代时的轻量级ResNet ‑34骨干网络、 m次迭代时的第一卷积神经网络、 m次迭 代时的第三卷积神经网络和m次迭代时的第四卷积神经网络的参数， 并返回步骤 “将多张所 述目标局部历史图像输入到m ‑1次迭代时的轻量级ResNet ‑34骨干网络， 得到m次迭代时的 深度语义特 征和m次迭代时的轻量级ResNet ‑34骨干网络 ”； 若所述判断结果为是， 则确定m次迭代时的轻量级ResNet ‑34骨干网络为训练后的轻量 级ResNet ‑34骨干网络； 确定m次迭代时的第一卷积神经网络为训练后的第一卷积神经网络； 确定m次迭代时的第三卷积神经网络为姿态回归神经网络； 确定m次迭代时的第四卷积神经网络为 位置回归神经网络 。 8.根据权利要求7所述的一种物体位姿测量方法， 其特征在于， 所述总损失函数为： L＝ α1lnormal+α2lmask+α3lSRA+α4lR+α5lt+β1lgeo+β2lch；权　利　要　求　书 2/3 页 3 CN 115420277 A 3