(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211231261.5 (22)申请日 2022.10.10 (71)申请人 江西财经 大学 地址 330000 江西省南昌市昌北国家经济 技术开发区双港东大街169号 (72)发明人 汪翠芳　 (74)专利代理 机构 北京久维律师事务所 1 1582 专利代理师 陈强 (51)Int.Cl. G06V 20/20(2022.01) G06V 20/64(2022.01) G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) (54)发明名称 一种AR快速实物匹配 显示方法 (57)摘要 本发明涉及图像处理技术领域， 具体涉及一 种AR快速实物匹配显示方法。 该方法包括： S1、 通 过设备摄像头拍摄图像， 获取真实场景图像； S2、 构建眼动分割注意力模型， 获取场景语义图像、 注视密度图像； S3、 计算场景语义图像中每个语 义实例的注视密度， 获取语义注视优先度； S4、 对 语义实例图像进行采样， 得到采样像素点集合； S5、 构建预设的标准图像， 对所述采样像素点集 合进行图像匹配， 得到匹配的预设标准图像， S6、 将相应的AR虚拟场景信息渲染到真实场景图像 进行显示； 本发 明方法根据语义优 先度来对不同 的AR虚拟场景进行优先显示， 可以实现多个AR虚 拟场景的快速叠加显示， 提高了显示效果， 增强 了用户体验质量。 权利要求书2页 说明书7页 附图2页 CN 115294488 A 2022.11.04 CN 115294488 A 1.一种AR快速实物匹配显示方法， 其特 征在于， 所述方法包括： S1、 通过设备摄 像头拍摄图像， 获取真实场景图像； S2、 构建眼动分割注意力模型， 根据所述真实场景图像通过所述眼动分割注意力模型 获取场景语义图像、 注视密度图像； S3、 计算所述场景语义图像 中每个语义实例的注视密度， 获取语义注视优先度序列； 根 据所述语义注视优先度 序列， 逐个获取真实场景图像中语义实例的图像； S4、 将所述语义实例的图像均匀划分为多个等大小的图像块， 根据所述图像块获取归 一化注视采样比例， 基于所述图像块的大小与归一化注视采样比例获取每个图像块的采样 点数； 基于所述每个图像块的采样点数， 对所有图像块进行网格化均匀采样， 得到采样 像素 点集合； S5、 构建预设的标准图像， 对所述采样像素点集合进行特征点检测与特征描述， 将检测 得到的特征点的描述子与所述预设的标准图像中特征点的描述子进行匹配， 得到匹配的预 设标准图像， 将匹配的预设标准图像中相应的AR虚拟场景信息渲 染到真实场景图像中该语 义实例的位置处进行显示； S6、 逐个对每 个语义实例的图像进行匹配显示， 以实现增强现实的效果。 2.根据权利要求1所述的一种AR快速实物匹配显示方法， 其特 征在于， 步骤S2中， 眼动分割注意力模型包含语义分割编码器、 语义分割解码器以及眼动注意力编码器、 眼动注意力解码器； 语义分割编码器输入为真实场景图像， 输出为场景特征图， 语义分割解码器输入为场 景特征图， 输出为场景语义图像， 并与场景语义标签进 行交叉熵损失函数计算， 眼动分割注 意力模型最终输出的场景语义图像需要通过A rgmax操作； 眼动注意力编码器输入为场景语义图像， 输出为眼动注意力特征图， 眼动注意力解码 器输入为场景特征图与眼动注意力特征图融合后的特征图， 输出为注视密度图像， 并与注 视密度标签进行L2损失的计算。 3.根据权利要求2所述的一种AR快速实物匹配显示方法， 其特征在于， 所述注视密度标 签的获取 方法为： 采集每个观看者对真实场景图像固定时间内的注视位置数据； 然后 生成一张像素值全 为0的图像， 对图像中的注视位置进 行二维高斯分布的生 成， 对于有重叠和相同注视位置的 像素点， 进 行二维高斯分布的叠加， 得到该观看者的注视密度图像， 然后采集多个观看者对 该图像的注视密度图像， 将多个观看者的注视密度图像求平均， 作为 最终的注视密度标签。 4.根据权利要求1所述的一种AR快速实物匹配显示方法， 其特征在于， 步骤S3中， 计算 所述场景语义图像中每 个语义实例的注视密度， 获取语义注视优先度 序列， 包括： 对场景语义图像提取每个语义实例， 求取场景语义图像中每个语义实例的注视密度， 每个语义在图像中都有一定的区域范围， 求取该区域范围所有像素点的注视密度值的和， 作为该语义实例的注视密度； 最终得到每个语义实例的注视密度， 将每个语义实例 的注视密度按从大到小进行排 序， 得到语义注视优先度 序列。 5.根据权利要求1所述的一种AR快速实物匹配显示方法， 其特征在于， 步骤S4中， 根据 所述图像块 获取归一化注视采样比例， 基于所述图像块的大小与归一化注视采样比例获取权　利　要　求　书 1/2 页 2 CN 115294488 A 2每个图像块的采样点数， 包括： 计算图像块的平均注视密度Ad： 式中，  为图像块的大小，   表示图像块中第i个 像素的注视密度值； 然后对所有图像块的平均注视密度进行最大归一化， 得到每个图像块的归一化注视采 样比例radi o： 式中， max()为 取最大值函数， 即取所有图像块的最 大平均注视密度， 即图像块的平 均注视密度； 获取每个图像块的采样点数U： 式中， 为每个图像块的大小， 为最大采样率， cei l为向上取整函数。 6.根据权利要求1所述的一种AR快速实物匹配显示方法， 其特征在于， 步骤S4中， 基于 所述每个图像块的采样点数， 对所有图像块进行网格化均匀采样， 得到采样 像素点集合， 包 括： 在图像块里， 首先初始选取最大注视密度的像素点， 计入采样点集合S； 然后计算图像 块中其他像素点与采样点集合S距离， 选距离最大的点再次加入采样点集合S， 迭代计算， 直 至达到图像块的采样点数， 所述距离 的计算方法为： 式中， o表示采样点集合S内样本点的总数量，   表示采样点集合S内第j个样本点与像 素点的空间坐标欧式距离，   分别表示采样点集合S内第j个样本点的注视密度值、 像素点的注视密度值； 至此得到每个语义实例下 所有图像块中采样的像素点， 称为采样像素点 集合。 7.根据权利要求1所述的一种AR快速实物匹配显示方法， 其特征在于， 步骤S5中， 对所 述采样像素点 集合进行特征点检测与特 征描述所采用的方法为AKAZE算法。 8.根据权利要求1所述的一种AR快速实物匹配显示方法， 其特征在于， 步骤S5中， 将检 测得到的特征点的描述子与所述预设的标准图像中特征点的描述子进 行匹配， 得到匹配的 预设标准图像， 所述匹配的依据为： 选取与检测得到的特征点的描述子匹配对数最多的预 设标准图像作为匹配的预设标准图像。权　利　要　求　书 2/2 页 3 CN 115294488 A 3