(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211164174.2 (22)申请日 2022.09.23 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 谢磊　宁静仪　李怡　卜艳玲　 叶保留　陆桑璐　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/44(2022.01) (54)发明名称 一种基于摩尔纹的位姿 估计系统及方法 (57)摘要 本发明公开了一种基于摩尔纹的位姿估计 系统及方法， 包括： 图像预处理模块， 用于对摄像 头拍摄到的以屏幕为主体的图像进行处理， 提取 有效中心区域与摩尔纹特征； 位置估计模块， 在 预处理后的图像上选取兴趣点， 计算摄像头到每 个兴趣点对应的屏幕上的点的估计距离， 最后根 据多边定位法计算摄像头与屏幕之间的相对位 置； 姿态估计模块， 基于摄像头光轴计算与滚转 角测量估计摄像头与屏幕之间的相对姿态。 本发 明利用摄像头前端色滤阵列与屏幕投影像素叠 加而成的摩尔纹， 无需依赖视觉标记即可实现摄 像头与屏幕之间的六自由度相对位姿 估计。 权利要求书4页 说明书9页 附图5页 CN 115457134 A 2022.12.09 CN 115457134 A 1.一种基于摩尔纹的位姿估计系统， 应用于摄像头与屏幕交互场景下的摄像头设备 中， 其特征在于， 包括： 图像预处 理模块， 位置估计模块与姿态估计模块； 图像预处理模块， 用于对摄像头拍摄到的以屏幕为主体的图像进行预处理； 具体为： 提 取有效的图像中心区域并确定其边界， 对图像中心区域执行图像均衡化、 图像增强、 频域分 析， 提取出图像中心区域的摩尔纹特 征： 空间频率fm与频率传播方向θm； 位置估计模块， 用于对摄像头与屏幕之间的三自由度相对位置进行估计； 具体为： 在所 述图像中心区域的边界上选取兴趣点并以兴趣点为中心划分兴趣区域； 对 所有的兴趣区域 分别执行单点测距， 获得每个兴趣区域中心对应的屏幕上的点Si到摄像头之间的估计距离 di， 所有估计距离共同构成估计距离阵列； 基于得到 的估计距离阵列及多边定位法来估计 摄像头在屏幕坐标系Oxyz中的位置(x， y， z)； 姿态估计模块， 用于对摄像头与屏幕之间的三自由度相对姿态进行估计； 具体为： 基于 所述摄像头在屏幕坐标系Oxyz中的位置(x， y， z)计算得到摄像头的光轴方向， 结合滚转角 测量推导出摄 像头姿态对应的三轴方位向量在屏幕坐标系Oxyz中的向量表示[u， v， w]。 2.根据权利要求1所述的基于摩尔纹的位姿估计系统， 其特征在于， 所述屏幕坐标系 Oxyz中的原点O是摄像头拍摄图像时光轴 与屏幕平面的交点， 即O点在图像上的投影位于图 像的中点； 屏幕坐标系Oxyz的X轴 、 X轴分别平行于屏幕的长边与短边， Z轴正交于XOY平面。 3.根据权利要求1所述的基于摩尔纹 的位姿估计系统， 其特征在于， 所述图像预处理模 块的预处 理过程具体为： 对摄像头拍摄到的以屏幕为主体的图像执行中心区域提取并记录 中心区域的边界， 以 消除由于镜头透镜效应导致的图像四周畸变及暗角； 中心区域的边长像素数Pc与图像短边 像素数Pm之比记为σ； 对提取的中心区域执 行直方图均衡化， 增强对比度； 对均衡化后的图像执 行图像增强， 包括自适应二 值化与中值滤波； 对增强后的图像执 行快速傅里叶变换， 得到包 含摩尔纹特 征的频谱图； 对频谱图进行自适应二值化， 提取能量最强的脉冲区域； 根据该脉冲区域的中心坐标 (u， v)计算摩尔纹特 征： 空间频率fm与频率传播方向θm， 具体计算方法为： 4.根据权利要求3所述的基于摩尔纹 的位姿估计系统， 其特征在于， 所述位置估计模块 中选取兴趣点与划分 兴趣区域的方法为： 分散性地选择位于所述中心区域 边界上的点， 即点 IU、 ID、 IL、 IR， 共同组成兴趣点阵列； 以各兴趣点为中心， 以所述中心区域的边长像素数Pc为边长给每个兴趣点划分一个临 时兴趣区域； 并对临时兴趣区域的面积进行缩小； 对临时兴趣区域执行傅里叶变换， 提取频谱图中能量最强的脉冲区域的中心坐标(u ′， v′)， 计算临时兴趣区域的空间频率 将临时兴趣区域的边长像素 数R′设置为4f′， 得到最终的兴趣区域。 5.根据权利要求4所述的基于摩尔纹 的位姿估计系统， 其特征在于， 所述位置估计模块权　利　要　求　书 1/4 页 2 CN 115457134 A 2中的单点测距方法为： 对兴趣点 IU、 ID、 IL、 IR对应的兴趣区域RU、 RD、 RL、 RR进行快速傅里叶变换 得到频谱图； 对频谱图进行自适应二值化， 提取两个能量最强的脉冲区域Ch和Cv， 且所述两个能量最 强的脉冲区域与原点的连线所成的夹角为90度； 脉冲区域Ch反应水平摩尔纹样条的摩尔纹 特征， 脉冲区域Cv反应垂直摩尔纹样条的摩尔纹特 征； 根据两个能量最强的脉冲区域的中心坐标(uh， vh)与(uv， vv)， 分别计算出一对摩尔纹特 征<f， θ >， 包括空间频率f与传播方向θ： 式中， <fh， θh>表示由坐标(uh， vh)计算得到的一对摩尔纹特征； <fv， θv>表示由坐标(uv， vv)计算得到的一对摩尔纹特 征； 根据两个能量最强的脉冲区域的空间频率 f与传播方向θ， 进一步计算出兴趣区域的中 心对应的屏幕上的点到摄 像头的距离： 式中， dh表示由脉冲区域ch计算得到的距离； dv表示由脉冲区域Cv计算得到的距离； 对于兴趣点IL和IR， 选择dh作为兴趣点对应的屏幕上的点到摄像头之间的估计距离； 对 于兴趣点 IU和ID， 选择dv作为兴趣点对应的屏幕上的点到摄 像头之间的估计距离 。 6.根据权利要求5所述的基于摩尔纹 的位姿估计系统， 其特征在于， 所述位置估计模块 中的多边定位方法具体为： 定义摄像头的位置P在屏幕坐标系Oxyz中的坐标为[x， y， z]T； 定义每个兴趣点对应的屏幕上的点Si的坐标为[xi， yi， zi]T； 以兴趣点对应的屏幕上 的 点SU(0， a， 0)、 SD(0，‑a， 0)、 SL(‑a， 0， 0)、 SR(a， 0， 0)进行计算， 参数 其中σ 表示所述 中心区域的边长像素数Pc与图像短边像素数Pm之比； Lc表示摄像头色滤阵列的尺寸， f表示 摄像头的物理焦距， d0表示摄像头到屏幕坐标原点O 的距离， 根据提取的摩尔纹特征fm和θm 计算得到： 从摄像头 的位置P到每个点Si的理论距离表示为||P ‑Si||2， 所有理论距离共同构成理 论距离阵列；权　利　要　求　书 2/4 页 3 CN 115457134 A 3