(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027562.6 (22)申请日 2022.08.25 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 郭方洪　田毅峰　周炜康　董辉　 吴祥　刘安东　陈积明　俞立　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 1/00(2006.01) G06K 17/00(2006.01)G06V 10/44(2022.01) G06T 5/00(2006.01) (54)发明名称 一种基于CycleGAN网络和二维码的移动机 器人定位方法 (57)摘要 本发明公开了一种基于CycleGAN网络和二 维码的移动机器人定位方法， 包括： 标定相机和 惯性测量单元； 获取序列图像； 判断应用场景中 是否有二维码， 若不存在二维码， 将序列图像输 入CycleGAN网络获得亮度一致的图像并提取关 键点， 然后对关键点进行光流跟踪并去除误匹配 关键点， 根据惯性测量单元采集的数据采用扩展 卡尔曼滤波算法估计相机的位姿， 获得移动机器 人的位姿； 若存在二维码， 根据二维码基于PNP算 法计算二维码与相机间的旋转矩阵和平移矩阵， 估计相机的位姿， 根据相机的位姿获得移动机器 人的位姿。 该方法有助于 保证移动机器人在黑暗 环境或者曝光环境也能正常工作， 并在长时间运 动后消除累计误差， 保证 工作稳定性和精度。 权利要求书2页 说明书6页 附图2页 CN 115526932 A 2022.12.27 CN 115526932 A 1.一种基于CycleGAN网络和二维码的移动 机器人定位方法， 所述移动 机器人包括相机 和惯性测量单元， 其特征在于： 所述基于CycleGAN网络和二维码的移动机器人定位方法包 括如下步骤： S1、 对相机和惯性测量单 元进行标定， 校正测量数据； S2、 利用标定后的相机采集应用场景视频并转换为序列图像； S3、 根据序列图像基于二维码角点检测算法判断应用场景中是否布设有二维码， 若否， 执行步骤S4， 否则， 记录二维码的绝对三维坐标， 执 行步骤S7； S4、 将序列图像输入CycleGAN网络获得亮度一致的图像， 并提取图像的关键点， 所述 CycleGAN网络的总损失函数L(GAB,GBA,DA,DB)公式如下： L(GAB,GBA,DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)+γcycLcyc(GAB,GBA)+γtLt(GAB,GBA) 其中， 式中， LGAN为对抗损失函数， Lcyc为循环一致性损失函数， Lt为时间一致性损失函数， GAB 表示生成器， GBA表示判别器， A表示正常光照下的图像， B表示非正常光照下的图像， γcyc为 控制循环一致性损失函数的相对重要性的常数， γt为控制时间一致性损失函数的相对重 要性的常数， at‑1为第t‑1帧原始图像， at为第t帧原始图像， 为原始图像at‑1到at 的光流函数， 为第t帧原始图像经过一次循环获取的图像， 为第t‑1帧原始图像经过一 次循环获取的图像， 为图像 到 的光流函数， F(*)表示 L1范数； S5、 利用FlowNet网络对图像的关键点进行光流跟踪， 并采用RANSAC算法去除相邻图像 中误匹配的关键点； S6、 根据标定后的惯性测量单元采集的数据， 采用扩展卡尔曼滤波算法估计相机的位 姿， 根据相机的位姿获得移动机器人的位姿， 返回执 行步骤S2， 直至移动机器人 结束运行； S7、 通过相机扫描二维码获取二维码的位置， 并根据二维码的大小和位置基于PNP算法 计算二维码与相 机之间的旋转矩阵和平移矩阵， 估计相 机的位姿， 根据相 机的位姿获得移 动机器人的位姿， 返回执 行步骤S2， 直至移动机器人 结束运行。 2.如权利要求1所述的基于CycleGAN网络和二维码的移动机器人定位方法， 其特征在 于： 所述对相机和惯性测量单 元进行标定， 过程如下： S11、 利用棋盘格标定板和camera_calibration标定包对相机进行标定， 获取相机的内 参和畸变参数； S12、 利用确定性误差和随机性误差对惯性测量单元进行标定， 所述随机误差通过IMU_ UTILS工具进行Al len方差分析获得， 所述确定性 误差为出厂参数查询获得； S13、 启动相机并同步旋转惯性测量单元采集数据包， 启动Kalibr标定包， 利用二维码 标定板、 数据包、 内参、 畸变参数、 确定性误差和随机性误差进行相 机和惯性测量单元联合 标定。 3.如权利要求2所述的基于CycleGAN网络和二维码的移动机器人定位方法， 其特征在 于： 所述棋盘 格标定板的图案阵列尺寸 为7*9。 4.如权利要求2所述的基于CycleGAN网络和二维码的移动机器人定位方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115526932 A 2于： 所述随机误差包括陀螺 仪噪声、 陀螺 仪漂移、 加速度计噪声和 加速度计 漂移。 5.如权利要求1所述的基于CycleGAN网络和二维码的移动机器人定位方法， 其特征在 于： 所述序列图像为从视频中每隔10m s提取的图像组成。 6.如权利要求1所述的基于CycleGAN网络和二维码的移动机器人定位方法， 其特征在 于： 所述图像的关键点 为采用Har ris角点检测算法提取的Har ris角点。 7.如权利要求1所述的基于CycleGAN网络和二维码的移动机器人定位方法， 其特征在 于： 所述对抗损失函数LGAN采用交叉熵损失函数， 所述循环一 致性损失函数Lcyc采用L1范 数。权　利　要　求　书 2/2 页 3 CN 115526932 A 3